您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

项目开展 CICD 的实践探路

时间:2023-08-25 13:37:30  来源:京东云开发者  作者:

本文介绍了作者对 CICD 的理解以及在项目中开展 CICD 的几种场景,总结了每种场景实践的关键节点、带来的收益,以及结合具体项目开展的实际应用。读者可以借鉴本文中描述的场景,或借鉴文中提到的实践方式,在项目中开展 CICD,为项目在持续集成部署上做具体的支撑。

1 前言

基于公司 Bamboo、EOS,SonarQube 平台,在项目中开展 CICD 持续集成与部署。介绍 CICD 开展的场景,项目中的实际应用,以及后续规划。

2 CICD 基础概念

CICD 是持续集成(Continuous Integration)和持续部署(Continuous Deployment)简称。指在研发过程中自动执行一系列脚本来降低开发引入 bug 的概率,在新代码从开发到部署的过程中,尽量减少人工的介入。

CICD 核心:持续集成、持续部署、持续交付。

CI:Continuous Integration,表示持续集成。

指在向远程仓库 push 代码后,在这次提交合并入主分支前进行一系列测试,构建等流程。

假设现在有个应用的代码存储在 仓库上,每天开发都会 push 很多次提交,针对每次 push,你可以创建一系列脚本进行自动测试,降低往应用里引入错误的概率。它可以应用在包括开发分支在内的多个分支上。

持续集成过程中很重视自动化测试验证结果,以保障所有的提交在合并主线之后的质量问题,对可能出现的一些问题进行预警。

CD:Continuous Delivery,表示持续交付。

指在完成 CI 后可自动将已验证的代码发布到仓库。

持续交付的目标是拥有一个可随时部署到生产环境的代码库。

CD:Continuous Deployment,表示持续部署。

指在持续集成的基础上更进一步,指将推送指仓库默认分支代码部署到特定环境。

通过自动化的构建、测试和部署循环来快速交付高质量的产品。某种程度上代表了一个开发团队工程化的程度,任何修改通过了所有已有的工作流就会直接和客户见面,只有当一个修改在工作流中构建失败才能阻止它部署到产品线。

3 CICD 的开展场景

3.1 编译部署

实现代码提交之后的自动编译 - 部署过程,取代 j-one 上构建 - 部署手动操作

内容:

  • 代码提交后的自动构建、自动部署、构建部署结果通知;

收益:

  • 去除 Jone 上代码构建完成后的手动部署操作中等待时间;

3.2 单元测试

开展基于 Junit 的单元测试

内容:

  • 针对后端代码,基于 Junit 编写单元测试脚本,开展单测,获取单测报告、jacoco 代码覆盖率报告;

收益:

  • 提升测试覆盖率,提高代码质量;
  • 减少 bug,快速定位 bug;
  • 有限支撑重构;

3.3 代码扫描

实现基于 SonarQube 的代码质量检测

实现基于 EOS 的代码质量检测

内容:

  • 实现基于 SonarQube、或公司平台 EOS 的代码扫描检测;
  • 代码提交自动触发代码扫描,最终生成报告、结果通知;
  • 扫描结果计入项目质量,记录跟踪问题,直至问题闭环解决。

收益:

  • 代码质量检测的手段丰富;
  • 多层次的自动化测试,提升代码质量;
  • 自动触发测试执行,缩减测试等待时间,提高效率,实现无人值守;

3.4 自动化测试

实现基于 Python/ target=_blank class=infotextkey>Python、EasyOne、DeepTest、Jmeter 的自动化测试。

内容:

  • 实现基于 SonarQube 的代码质量检测;
  • 实现全链路各环节的自动化测试;
  • 代码提交自动触发测试执行、生成报告、报告通知;

收益:

  • 多层次的自动化测试,提升代码质量;
  • 自动触发测试执行,缩减测试等待时间,提高效率,实现无人值守;

3.5 全链路测试探索

将上述单个场景进行组合形成全链路测试场景;

代码提交触发链路自动运行,以及报告生成、邮件发送。

4 项目实践

结合公司内部平台在实际项目中开展 CICD。

4.1 公司内部平台

Bamboo

Bamboo 是京东自研的一套 CI/CD 流水线解决方案,覆盖软件开发的完整生命周期。

EOS

EOS 是技术与数据中台自主研发的代码扫描系统,通过扫描分析代码,定位到工程中不规范的编码片段并给出修改建议,能有效监督约束开发人员统一编码习惯,减少因编码不规范引起的低级错误,提高代码可读性,提高团队协作效率。

4.2 项目实际应用

1)编译 - 部署

对 Jone 上高频构建部署分支进行在 Bamboo 上搭建流水线,实现:

代码提交 - 调用 Jone 的构建 - 调用 Jone 的部署 - 结果通知

触发编译构建的几种方式:

  • 手动执行;
  • 代码提交触发执行;
  • 定时任务触发执行;
  • 级联其他流水线触发执行;

应用情况:

  • 组内所测试所覆盖都已部署相关流水线;
  • 支撑测试人员在所测项目中部署自动构建流水线,共计调用次数:364 次。

2)单元测试

对后端项目开展单元测试,实现:

代码提交 - maven 构建 - 获取单测报告 - 结果通知

应用效果:

  • 极大简化了获取单测报告的过程,通过简单的过程即可针对项目开展单测、执行单测、并获取单测结果;
  • 支撑超过 8 个项目部署单测流水线,JDL-CRM 权限系统单测有效提升率:20%

3)自动化测试

项目部署之后,开展自动化回归测试,用于项目上线前的回归测试,实现:

自动化测试 - 测试报告 - 测试结果通知

目前基于 Python 语言,依托 Py 第三方模块,实现脚本编写,集成到 Bamboo 平台,执行流水线,获取报告。

应用效果:

  • 负责在销服项目中开展上线前的 UAT 自动回归测试;

4)代码扫描

基于公司搭建的 SonarQube、EOS 平台,开展代码扫描,实现:

代码提交 - 代码扫描 - 扫描报告 - 问题手工记录行云

5 后续规划

CICD 过程数据与质量效能数据相结合。

基于 DeepTest 开展更多项目的自动化测试,集成到 BamBoo 平台。

代码扫描在项目中的应用。

 

作者:京东物流 陈维
来源:京东云开发者社区 自猿其说 Tech 转载请注明来源


Tags:CICD   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
项目开展 CICD 的实践探路
本文介绍了作者对 CICD 的理解以及在项目中开展 CICD 的几种场景,总结了每种场景实践的关键节点、带来的收益,以及结合具体项目开展的实际应用。读者可以借鉴本文中描述的场景...【详细内容】
2023-08-25  Search: CICD  点击:(252)  评论:(0)  加入收藏
教你本地k8s集群搭建云原生 Tekton CICD 流水线
Tekton CICD Demo这是一个演示 Tekton CICD 的 demo。下面我们将从搭建本地 k8s 集群开始,同步镜像至国内并部署 Tekton,一步一步实现一个 CICD 流水线。实现更新代码自动触发...【详细内容】
2020-11-13  Search: CICD  点击:(379)  评论:(0)  加入收藏
▌简易百科推荐
即将过时的 5 种软件开发技能!
作者 | Eran Yahav编译 | 言征出品 | 51CTO技术栈(微信号:blog51cto) 时至今日,AI编码工具已经进化到足够强大了吗?这未必好回答,但从2023 年 Stack Overflow 上的调查数据来看,44%...【详细内容】
2024-04-03    51CTO  Tags:软件开发   点击:(5)  评论:(0)  加入收藏
跳转链接代码怎么写?
在网页开发中,跳转链接是一项常见的功能。然而,对于非技术人员来说,编写跳转链接代码可能会显得有些困难。不用担心!我们可以借助外链平台来简化操作,即使没有编程经验,也能轻松实...【详细内容】
2024-03-27  蓝色天纪    Tags:跳转链接   点击:(12)  评论:(0)  加入收藏
中台亡了,问题到底出在哪里?
曾几何时,中台一度被当做“变革灵药”,嫁接在“前台作战单元”和“后台资源部门”之间,实现企业各业务线的“打通”和全域业务能力集成,提高开发和服务效率。但在中台如火如荼之...【详细内容】
2024-03-27  dbaplus社群    Tags:中台   点击:(8)  评论:(0)  加入收藏
员工写了个比删库更可怕的Bug!
想必大家都听说过删库跑路吧,我之前一直把它当一个段子来看。可万万没想到,就在昨天,我们公司的某位员工,竟然写了一个比删库更可怕的 Bug!给大家分享一下(不是公开处刑),希望朋友们...【详细内容】
2024-03-26  dbaplus社群    Tags:Bug   点击:(5)  评论:(0)  加入收藏
我们一起聊聊什么是正向代理和反向代理
从字面意思上看,代理就是代替处理的意思,一个对象有能力代替另一个对象处理某一件事。代理,这个词在我们的日常生活中也不陌生,比如在购物、旅游等场景中,我们经常会委托别人代替...【详细内容】
2024-03-26  萤火架构  微信公众号  Tags:正向代理   点击:(10)  评论:(0)  加入收藏
看一遍就理解:IO模型详解
前言大家好,我是程序员田螺。今天我们一起来学习IO模型。在本文开始前呢,先问问大家几个问题哈~什么是IO呢?什么是阻塞非阻塞IO?什么是同步异步IO?什么是IO多路复用?select/epoll...【详细内容】
2024-03-26  捡田螺的小男孩  微信公众号  Tags:IO模型   点击:(8)  评论:(0)  加入收藏
为什么都说 HashMap 是线程不安全的?
做Java开发的人,应该都用过 HashMap 这种集合。今天就和大家来聊聊,为什么 HashMap 是线程不安全的。1.HashMap 数据结构简单来说,HashMap 基于哈希表实现。它使用键的哈希码来...【详细内容】
2024-03-22  Java技术指北  微信公众号  Tags:HashMap   点击:(11)  评论:(0)  加入收藏
如何从头开始编写LoRA代码,这有一份教程
选自 lightning.ai作者:Sebastian Raschka机器之心编译编辑:陈萍作者表示:在各种有效的 LLM 微调方法中,LoRA 仍然是他的首选。LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大...【详细内容】
2024-03-21  机器之心Pro    Tags:LoRA   点击:(12)  评论:(0)  加入收藏
这样搭建日志中心,传统的ELK就扔了吧!
最近客户有个新需求,就是想查看网站的访问情况。由于网站没有做google的统计和百度的统计,所以访问情况,只能通过日志查看,通过脚本的形式给客户导出也不太实际,给客户写个简单的...【详细内容】
2024-03-20  dbaplus社群    Tags:日志   点击:(4)  评论:(0)  加入收藏
Kubernetes 究竟有没有 LTS?
从一个有趣的问题引出很多人都在关注的 Kubernetes LTS 的问题。有趣的问题2019 年,一个名为 apiserver LoopbackClient Server cert expired after 1 year[1] 的 issue 中提...【详细内容】
2024-03-15  云原生散修  微信公众号  Tags:Kubernetes   点击:(6)  评论:(0)  加入收藏
站内最新
站内热门
站内头条