一、项目背景及目标

中间件类型繁多且技术栈复杂，建设高质量的中间件服务需要大量经验沉淀和成本投入，存在较高门槛。通过传统方式建设中间件主要存在如下痛点：

1.学习成本高、建设周期长。中间件配置繁多技术栈复杂，对专业技能要求较高，需要建设人员花费大量的精力学习建设方案、步骤以及解决建设服务过程中的各种问题，学习成本高建设周期长。

2.缺少统一运维工具，运维困难。缺少中间件统一运行情况视图，缺乏统一的日志查询、监控、告警机制。

3.硬件资源利用率低。缺少对中间件所需要达到的性能与硬件资源的匹配度评估机制，往往用较高的硬件资源投入换取所需的性能，同时，无法对中间件服务所需要的资源进行伸缩，控制不灵活，硬件的资源利用率较低。

4.免费开源，缺少技术兜底。对中间件服务没有技术兜底，出现问题后需要手工研究解决，安全和稳定性缺少技术保障。

证券行业对业务连续性有着特别的要求，如何解决如上痛点，高效、低成本地创建满足需求的中间件服务成为越来越迫切的问题。

本项目的研究和应用，将中间件的创建、管理过程与云计算结合起来建设一套基于云原生的统一中间件管理平台，通过该平台可以对指定中间件进行完整生命周期管理，该平台可以带来如下好处：

1.将各种中间件的创建过程抽象为模板，通过模板快速地创建指定版本的中间件服务，同时部分指定中间件服务支持跨机房高可用，中间件数据多副本保存，数据安全服务稳定，大幅降低中间件服务创建难度和提高中间件服务质量，从而提高项目实施效率；

2.该平台具备完备的自动化运维和可视化排障的机制以降低中间件的运维人工成本和时间成本，同时缩短业务项目建设时间。中间件管理平台具备扩展能力，后期可以根据需要添加或者下架相应的中间件产品；

3.中间件平台支持通过资源利用监控等措施评估性能与资源的关系，通过动态调度、动态扩缩容等机制提高资源利用效率；

4.中间件平台将常见问题的检测与解决抽取为功能，出现问题后可以及时发现和解决。

二、创新点

该项目将中间件的创建与管理与云原生结合起来，主要创新如下：

1.采用Operator技术对中间件的管理进行固化。Operator可以帮助用户以 Kubernetes 的声明式 API 来管理应用及服务，将中间件常见的操作固化下来，避免人工通过脚本的方式对中间件进行管理，大幅提高管理效率。

2.传统的数据库技术和容器云技术融合。本项目建设的统一中间件平台基于容器化、智能化运维能力，将容器云技术和数据库技术结合在一起，赋予了数据库新的活力。

3.开源数据库和自研能力相结合。虽然采用的各类数据库如MySql是开源社区提供的免费产品，但是根据实际的业务场景在基于开源产品的基础上进行了定制化的改造，解决了开源产品易用性、可靠性等方面的不足。利用Operator技术进一步提升了开源数据库的优势，避免了“重复造轮子”的操作，同时在技术层面、产品层面做出了一定的成果，对于新技术也有了进一步的探索。

三、项目技术方案

项目整体技术框架分为四层：基础设施层、k8s底座层、平台层、应用层。

1.基础设施层：平台基础服务，包括多项目多集群管理、应用监控、运行日志、告警事件采集等，支持统一管理混合云集群，提供统一的身份认证及访问控制；支持虚拟机、物理机，无基础设施绑定，并提供项目、空间多级模型，企业级多项目隔离，细粒度角色权限控制；

2.K8s底座层：为平台提供底座支撑，以及核心云原生能力，包括服务编排部署、服务发现、弹性伸缩、高可用保障等技术支持。编排部署：部署编排服务，通过许多原始且丰富的 API 来支持容器编排，实现自动化地完成应用管理的各个方面，从初始的布局，调度，系统部署到稳定状态的一切动作；服务发现：通过 Service 来对内暴露服务，通过 Ingress 来对外暴露服务；弹性伸缩：能够感知应用内各个实例的状态，并根据状态动态实现应用扩容、缩容，在保证服务质量的同时，提升应用的可用率；高可用保障：拥有很多容灾备份服务，能够保障业务应用的高可用性。

3.平台层：提供一系列针对中间件服务的管理能力，包括如下内容：自动化运维：支持用户的中间件维护。提供完善的日志、监控模块，配合基于容器的自恢复和自调度策略，最大限度降低人力运维成本；提供可视化自动化运维工具，内置定时数据备份、恢复功能、操作审计、系统告警，即使发生故障，也能快速自愈，以保证第一时间恢复业务工作，同时再结合容器场景高可用的开源优化部署方案，降低安装部署复杂度。监控运维：包括日志模块、监控模块等功能，方便用户查看中间件服务在使用中产生的日志信息和监控数据。数据高可用：采取主备节点的方式，随时对主节点的数据进行备份和实时收集，建立备库来保存主节点的实时数据，方便产生故障时快速进行主备切换。服务高可用：主备节点进行读写分离，并且支持快速切换主备，达到秒级切换的级别。

4.应用服务层：基于Operator管理，提供一系列中间件创建、管理能力。在发布中间件时，可以配置不同的模式字段以初始化不同模式的中间件，同时针对不同中间件可以存在不同的部署模式，当前主要支持中间件列表如下：MySQL、Redis、Kafka、Elasticsearch、Zookeeper、Minio等。

四、项目过程管理

本项目实施步骤以及主要计划如下：

注：

1.T日指项目合同签订完成并且服务器上架完成时间

2.T日单位为工作日

五、运营情况

截至当前，平台由主、备2名运维人员负责运维，提供了50余个中间件服务，支持超过20余个业务系统。平台上线至今稳定运行，未发生影响业务连续性的故障，运行情况良好。且中间件的创建时长为分钟级，相比传统手工搭建方式极大地提升了中间件建设效率进而减少业务系统建设时间。

六、项目成效

该项目主要带来了如下成效：

1.统一平台：通过容器技术与中间件的部署、运维、高可用架构结合起来，建设出一套可以通过管理界面灵活创建和运维的通用中间件平台，可以在平台上自由安装部署中间件，降低了中间件安装部署的操作难度，降低了运维人员的使用门槛；

2.运维特性沉淀：基于Operator组件技术实现运维特性沉淀，改变脚本运维现状大幅度提升运维能力。

3.提高资源利用率：基于容器的更细粒度部署规格和更高的部署密度，可根据业务需求按需部署，提高资源利用率；

4.降低运维成本：通过完善的日志、监控模块，配合基于容器的自恢复和自调度策略和界面化的运维属性配置，最大限度降低人力运维成本，并针对某些特别场景实现自动化运维以及排障；

5.保障数据可靠性：通过内置的数据备份、恢复功能，同时结合高可用的部署方案，保障数据安全可靠；

6.提高部署效率：纯容器化交付部署，减少运维人员投入，省去了传统的装脚本的步骤，改变黑屏化安装部署的方式，降低安装复杂度，分钟级可交付。

七、经验总结

中间件、数据库等在项目中一般属于关键节点，如果出现故障将严重影响业务系统的运行，因此在业务连续性保障方面非常重要。在建设中间件管理类系统时，需要考虑并做到服务具备完备的备份、应急处理等措施，确保RPO、RPO满足业务系统的需求。