项目方案

随着技术发展和信息化管理要求升级，郑州银行需要一套适应微服务、devops等新技术发展的运维支持平台支撑应用系统精益化管理。

郑州银行需建立面向运维管理视角、符合DevOps管理要求的运维支持平台，建立安全可靠、智能运行的应用容器云PaaS平台（DevOps环境），从流程上打通应用系统从代码资产管理、代码质量监测、系统部署更新到运行监测等一些列环节，确保一致性，让整个交付过程变得可靠、可预期、可视化；从运行环境上提高应用系统安全运行的稳定性和自愈能力，自动地、快速地提供反馈，以便及时发现和修复缺陷，进一步加强应用系统运行状态可控、在控能力。

主要内容包括规划和搭建应用容器云平台（DevOps环境）及其管理端。应用容器云平台（DevOps环境）包括但不限于建立基于Kubernetes的集群高可用应用容器云PaaS平台、支持版本管理的源代码仓库，并实现源代码质量静态扫描机制、容器管理、DevOps部署上线和运行机制等；管理端实现对各工具的集成和各环节的统一管理、应用监控等，系统可以根据角色灵活配置应用上线发布权限。

部署架构：

Gitlab部署架构

Jenkins部署架构

Jenkins Master：采用hostnetwork+keepalived方式来实现Master的高可用，hostnetwork需要固定主机，两个Master挂载同一个存储卷。

Jenkins Slave：采用动态方式来部署Slave，按需动态启动slave节点，Master-Slave采用JNLP方式。

Sonar部署架构

Sonar：高可用采用K8S的自恢复方式，采用F5-controller+端口方式访问。

创新点

郑州银行在新一代容器PaaS平台建设初期，便确认了PaaS平台和敏捷理念结合来提升业务的自动化部署和提高部署效率和准确性，降低或完全替代人工操作，全面提升业务弹性，并将容器和敏捷的理念贯彻到需求、设计、研发、测试、发布、运维等软件生产的全生命周期的建设目标。郑州银行新一代容器PaaS平台建设对于我行互联网金融业务的迅速投产起到了关键性的作用，并对未来新一代分布式核心系统建设打下了坚实的基础。容器PaaS平台建设主要包括五大先进性及创新点：

1.一键式部署：一个启动按钮实现应用自动化部署，项目群部署时间从数小时缩短到10分钟内；

2.提高业务弹性，提高业务弹性能力，应对波峰波谷，节约30%以上物理资源；

3.提升团队效率：集成Devops打通开发、测试、配管、运维等软件开发和运营的各个环节，使不同岗位人员实现线上快速交互和协作，有效支撑了敏态和稳态的双模IT；

4.制定管理规范：利用容器PaaS平台建立和落实了郑州银行的软件全生命周期管理规范及标准；

5.增强业务稳定：通过PaaS平台的智能化故障摘除和恢复功能，大大提升业务的稳定和连续性。

技术实现特点

容器云平台采用云原生开源的K8S+Docker技术，根据应用需求，搭建开发测试集群、DMZ集群、互联网应用集群3套业务集群，并通过管理平台实现统一管理。在开发测试中心的开发测试区、DMZ区、互联网应用区各搭建1套高可用集群，实现互联网应用区的应用通过DMZ区暴露到外部访问，并在开发测试区和互联网应用区均提供共享存储，满足集群应用的数据持久化需求。所有集群共同使用同一镜像仓库。
     管理平台可以对多集群进行统一的可视化管理，提供多集群的注册、修改、运维、监控等核心功能支持，实现多集群的一站式管理。

项目过程管理

1项目需求分析阶段：

在项目前期准备阶段（2019年12月至2020年3月），主要进行了需求调研完成项目前期调研、完成项目建设方案初稿、网络方案初稿、应用迁移方案初稿。

2项目详细规划设计阶段：

此阶段是在2020年3月进行了项目的详细规划设计，包括明确了项目组人员、项目建设目标和具体实施计划，提交了项目规划建设文档。

3系统部署实施阶段：

此阶段时间主要是在2020年3月至2020年4月间，期间完成了容器平台的部署实施和完成功能测试，具备了迁移条件，提交了项目实施文档及操作说明书。

4应用迁移阶段：

    此阶段起止时间为2020年5月至2020年7月，期间完成了DevOps工具链的容器化及迁移验证功能，并对发现的问题进行了修复，提交了项目迁移文档等。

运营情况

先后对DevOps工具链多个组件进行迁移，主要迁移顺序及内容如下：

一、devops工具链及基础软件。

1、迁移的基础软件包括：

Mysql、Nginx、Weblogic、MQ、Redis

2、容器化的devops工具链包括：

jenkins-master、jenkins-slave、gitlab、sonarqube、openldap、grafana等。

实施过程中遇到了Gitlab和Jenkins等工具链容器化高可用问题，由于业内几乎没有佳化实践参考，困扰项目组一段时间，由于这两个工具在容器化之前就是高可用部署的，所以上容器环境之后依然期望维持高可用。项目组制定讨论了三套高可用方案，终选定了采用F5 lable selector的机制来支持工具链组件高可用。目前方案已经落地并完成了验证。

项目成效

devops工具链迁移容器化之后，之前虚拟机上的主备机模式可以废弃，节省服务器资源成本。并且以k8s为基础的高可用模式，可以更高效的进行无缝切换。
   jenkins-slave资源可以根据master任务需要进行弹性伸缩，jenkins-slave节点资源可进行细粒度资源划分，可以按照任务需求配置不同的slave资源模版，既保证了服务的正常运转，也防止过多分配slave机器导致资源的浪费。

经验总结

通过devops工具链的容器化建设，服务整体运行稳定，结合容器云平台逐渐完善的监控告警体系与Kubernetes故障发现和服务自恢复以及弹性伸缩功能已经可以轻松实现自动化运维和应对jenkins流水线高峰以及对服务高可用的技术要求，以及实现各个工具的数据采集和监测能力，对工具的使用情况有了精确的数据监控。