https://github.com/zq2599/blog_demos
内容:所有原创文章分类和汇总,及配套源码,涉及JAVA、Docker、Kubernetes、DevOPS等;
在《体验SpringBoot(2.3)应用制作Docker镜像(官方方案)》一文中,咱们掌握了SpringBoot官方推荐的镜像构建方案,接下来要体验的是GitLab的CI能力,它负责把代码变成私有仓库中的镜像,咱们可以专心编码了;
GitLab CI的作用如下图,开发者提交代码到GitLab后,就会触发编译、构建、制作镜像、推送到仓库这些事情,然后K8S环境就能用上最新的镜像了:
本文继续坚持实战的风格,和大家一起完成以下操作:
实战前需要您准备好以下环境:
本次实战用的是普通的SpringBoot工程,如果您不想写代码,整个系列的源码可在GitHub下载到,地址和链接信息如下表所示(
https://github.com/zq2599/blog_demos):
这个git项目中有多个文件夹,本章的应用在dockerlayerdemo文件夹下,如下图红框所示:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.Apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.3.0.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.bolingcavalry</groupId>
<artifactId>dockerlayerdemo</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>dockerlayerdemo</name>
<description>Demo project for Spring Boot layer docker image</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
<exclusions>
<exclusion>
<groupId>org.junit.vintage</groupId>
<artifactId>junit-vintage-engine</artifactId>
</exclusion>
</exclusions>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<version>2.3.0.RELEASE</version>
<configuration>
<layers>
<enabled>true</enabled>
</layers>
</configuration>
</plugin>
</plugins>
</build>
</project>
package com.bolingcavalry.dockerlayerdemo;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.Date;
@SpringBootApplication
@RestController
public class DockerlayerdemoApplication {
public static void main(String[] args) {
SpringApplication.run(DockerlayerdemoApplication.class, args);
}
@RequestMapping(value = "/hello")
public String hello(){
return "hello " + new Date();
}
}
# 指定基础镜像,这是分阶段构建的前期阶段
FROM openjdk:8u212-jdk-stretch as builder
# 执行工作目录
WORKDIR application
# 配置参数
ARG JAR_FILE=target/*.jar
# 将编译构建得到的jar文件复制到镜像空间中
COPY ${JAR_FILE} application.jar
# 通过工具spring-boot-jarmode-layertools从application.jar中提取拆分后的构建结果
RUN java -Djarmode=layertools -jar application.jar extract
# 正式构建镜像
FROM openjdk:8u212-jdk-stretch
WORKDIR application
# 前一阶段从jar中提取除了多个文件,这里分别执行COPY命令复制到镜像空间中,每次COPY都是一个layer
COPY --from=builder application/dependencies/ ./
COPY --from=builder application/spring-boot-loader/ ./
COPY --from=builder application/snapshot-dependencies/ ./
COPY --from=builder application/application/ ./
ENTRYPOINT ["java", "org.springframework.boot.loader.JarLauncher"]
image: maven:3.6.3-jdk-8
variables:
MAVEN_CLI_OPTS: "-s .m2/settings.xml --batch-mode"
MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository"
# 定义缓存
# 如果gitlab runner是shell或者docker,此缓存功能没有问题
# 如果是k8s环境,要确保已经设置了分布式文件服务作为缓存
cache:
key: dockerlayerdemo-ci-cache
paths:
- .m2/repository/
- target/*.jar
# 本次构建的阶段:build package
stages:
- package
- build
# 生产jar的job
make_jar:
image: maven:3.6.3-jdk-8
stage: package
tags:
- k8s
script:
- echo "=============== 开始编译源码,在target目录生成jar文件 ==============="
- mvn $MAVEN_CLI_OPTS clean compile package -Dmaven.test.skip=true
- echo "target文件夹" `ls target/`
# 生产镜像的job
make_image:
image: docker:latest
stage: build
tags:
- k8s
script:
- echo "从缓存中恢复的target文件夹" `ls target/`
- echo "=============== 登录Harbor ==============="
- docker login 192.168.50.43:5888 -u admin -p Harbor12345
- echo "=============== 打包Docker镜像 : " gitlabci-java-demo:$CI_COMMIT_SHORT_SHA "==============="
- docker build -t 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA .
- echo "=============== 推送到镜像仓库 ==============="
- docker push 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA
- echo "=============== 登出 ==============="
- docker logout
- echo "清理掉本次构建的jar文件"
- rm -rf target/*.jar
关于以上pipeline脚本,有下面五点需要注意:
第一:关于cache,如果您的gitlab runner是shell或者docker类型就无需关注,cache是直接生效的,但如果您的gitlab runner是K8S那就要注意了,需要在gitlab runner中填写cache相关的配置,让分布式文件服务作为cache的底层实现;
第二:一共定义了两个stage:package和build,顺序是先package再build,注意生成jar的job一定要是package,使用jar构建镜像的job要是build,这样在构建镜像的时候才能顺利从缓存中取得jar;
第三:make_image这个job的脚本中,会执行登录私有镜像仓库的操作,为了操作方便,登录的账号密码都是直接写在脚本里面的,实际使用时请不要这样做,建议使用Harbor的机器人账号密码,并且写入GitLab CI的环境变量配置页面,而不是直接写在pipeline脚本中
第四:tags参数用来和已有的GitLab Runner匹配,请按照您自己的runner的情况设置;
第五:生成docker镜像的tag等于$CI_COMMIT_SHORT_SHA,这是本次提交的commit id,因此,每次提交都会导致镜像仓库中多一个镜像,其tag等于commit id;
至此,所有开发工作已经完成,接下来验证执行情况;
接下来要在K8S环境验证之前的镜像可以正常运行:
kubectl create deployment dockerlayerdemo
--image=192.168.50.43:5888/common/gitlabci-java-demo:02307851
kubectl create service nodeport
dockerlayerdemo --tcp 8080:8080
文章看到这里,咱们pipeline脚本也写了,镜像有了,K8S上部署的服务也验证了,这就结束了吗?
---还没有,咱们来感受一下从修改代码到K8S环境上生效的流程:
kubectl set image deployment dockerlayerdemo
gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:8735c78d
可见借助GitLab CI,编码到部署之间的过程已被简化,可以更加专注的撸码了;
除了持续集成(CI),还可以把持续部署(CD)也加入到pipeline脚本中,这样我们只需提交代码,对应的镜像会被自动部署到K8S环境;
打开.gitlab-ci.yml,增加一个stage定义deploy,如下所示,现在一共有三个stage了:
stages:
- package
- build
- deploy
# 生产镜像的job
deploy_k8s:
# 禁用cache,避免上传、下载、压缩、解压缩带来的开销
cache: {}
image: ictu/sshpass:latest
stage: deploy
tags:
- k8s
script:
- export TAG=$CI_COMMIT_SHORT_SHA
- echo "TAG is "$TAG
- sshpass -p 888888 ssh -o "StrictHostKeyChecking no" root@192.168.50.135 "kubectl set image deployment dockerlayerdemo gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:$TAG"
至此,CI和CD都验证通过,可见GitLab的CI能力给我们的日常开发带来了不少便利,也希望本文能给您带来一些参考;