一、项目背景及目标

1.项目背景

随着云原生技术在我司广泛应用，应用系统从稳态向敏态的全面转型。传统基于单体架构的应用负载越来越难以满足敏态环境下应用负载的要求。从业务角度看，现有云原生承载的业务对于高并发、高吞吐、高时效、高可用的服务访问需求更加明显。从管理角度看，借助云原生技术实现应用交付产品在科技服务云平台实现自服务化，将极大提高云原生应用的使用效率。而目前使用的传统负载均衡设备受限与于其自身单体应用架构设计，难以适应云原生环境下敏捷弹性的业务特性。而云原生自带的负载均衡受限于自身功能局限性，在解决这些问题时且难以达到最佳效果。    基于此，我司亟需能同时具备云原生弹性、高扩展性、高性能、智能化的云原生负载均衡解决方案，以提升资源利用率、保障业务连续性以及构建业务多中心多活能力。

2.项目目标

研究满足当下应用大量云原生化趋势下，适用于国泰海通科技服务云环境，且能够支撑大规模云原生应用高弹性与高可用性需求的负载均衡技术方案，并实现其规模化部署。主要实现以下技术目标：

一是基于云原生的高性能高可用业务集群应用发布技术研究，其目标是替换传统应用负载，充分发挥云原生的可扩展性，可容错性，高性能，高可用，可快速支撑大并发系统的优势，更好的支撑业务系统建设及日常运维。

二是结合借助云原生技术实敏捷与可编排特性，通过与国泰海通全栈科技服务云门户的集成开发，实现云原生应用负载的使用的云服务化，管理发放的自动化。

三是基于GSLB全局负载的多业务集群容灾设计，其目标是设计一套多集群业务发布的能力为企业提供了一系列的价值和优势，特别是在需要高可用性、多活、灾难恢复、负载均衡和地理位置优化的场景中。

四是基于智能预测的主动式弹性伸缩策略研究，目标是基于业务指标的可理解性和可预测性，研究基于成交活跃度等典型业务指标动态性预测的主动式弹性伸缩算法系统，解决系统调整时机滞后无法业务服务中负载变化剧烈的场景。

二、创新点

1.基于云原生的高性能高可用负载均衡集群技术方案设计与应用

基于云原生的高性能高可用业务集群负载均衡技术研究，实现如下效果：

一站式的云基础设施，开发测试、预发布、多项目、生产环境采用同架构的云原生负载均衡，且对云原生负载均衡集群能够进行集中的管理。

满足证券行业对瞬时突发交易流量，快速弹性扩展，快速上线和变更等需求。

满足各类应用能高性能高可用的发布述求。

弹性伸缩智能化。

自动化的业务多活治理。

2.实现符合云化理念的云原生负载均衡云服务化与自动化

云原生负载均衡通过国泰海通科技服务云实现统一管理调度，基础设施自动化运维。

通过自动化的CI/CD流程，可以实现业务应用的自动化构建、测试和部署，减少人为错误。

云原生负载支持持续交付和持续部署，使得业务发布更加频繁和高效。

容器化简便部署确保了开发、测试和生产环境的一致性，减少了个环境流转环境差异性问题。

云原生负载形式可以更精确地管理资源使用，提高资源利用率和成本效率。

云原生应用负载在国泰海通全栈科技服务云门户上实现云服务化，以云产品的形式对最终用户提供服务。

3.结合GSLB全局负载的实现多业务集群容灾设计

支持业务多集群业务发布的能力，提供了强大的灵活性和扩展性，构建更加健壮、可靠和高效的IT基础设施。随着云原生技术的发展和全球化业务的需求增加，这一能力的重要性将越来越突出。

根据典型业务指标和服务器资源对业务流量做全局负载，提高资源利用率。

4.实现可智能预测的主动式弹性伸缩策略

基于智能预测的主动式弹性伸缩策略研究，达到如下效果：

PaaS设置自动弹性伸缩策略，HPA可以应对未来的负载变化，并提前进行扩缩操作，从而减少响应时间。

PaaS层基于pod、对象、扩展三种类型的弹性策略，通过对cpu、内存、负载和其他kubernetes资源的预测，进行智能弹性伸缩；通过避免不必要的资源过度分配，智能HPA有助于降低云服务成本，尤其是在按需付费的云环境中。

可以提供更详细的性能指标监控数据和报告，帮助管理员更好地理解系统行为和性能。

三、项目技术方案

整体方案设计：

GSLB 做为多数据中心或者多集群的流量入口，结合DNS解析能力将流量 分发至对应的云原生业务集群云原生负载均衡器；基于容器平台和GSLB的联动，实现多业务容器集群容灾设计。

云原生负载均衡器作为单个云原生业务集群的流量入口，结合对应的负载均衡策略，将流量分发至业务POD集群ingress节点；其中，云原生负载均衡器可以支持多VLAN和多业务网段，以便可以支持多个项目（项目和kubernetes集群解耦），多个租户相对隔离。

云原生负载均衡器既可以对接容器CNI网络，有可以对接宿主机网络，此层云原生负载均衡平台也可以调度容器外业务，扩展方案的全局性。

Ingress Controller节点将流量转发至POD服务节点，完成最终流量转发路径。

图1 拓扑架构图

当在多数据中心、多集群、或者多云(可能是混合云)中使用云原生容器平台部署应用时，需要考虑到如何跨集群分发应用流量。为了解决该问题，参考kubernetes 原生、开源等实现方式，我们设计了一个全局负载均衡器。如上图，第一层GSLB 负载，该方案中，每个数据中心通过双机部署GSLB，数据中心本地的负载业务 数据会同步到GSLB，通过GSLB可以实现优先本地数据中心访问、轮询、加权轮询等数据中心之间的云原生业务负载，GSLB保证了异地灾备和数据中心的流量负载。 同时，在多云、多集群该方案也同样适用，并且技术特点很好的配合了，云原生业务发布下的域名化改造，应用层的业务发布。

云原生负载均衡器借助云原生技术实现敏捷、可编排的云原生负载均衡，通过云管平台负载均衡实现云服务化，并集中统一管理。云原生负载均衡器实现控制面和数据面分离，集中统一的配置可以下发到关联的多个数据面实例，同时数据面实例不仅支持主备模式又支持多主模式，做到真正的分布式可扩展架构。当前业务和团队增长迅速，传统应用交付只能分散管理，没有真正规模化管理能力，同时缺乏业务的集中监控，对业务稳定带来较大的挑战。

图2 云原生负载均衡云服务化集成图

ingress controller统一入口网关，一个集群只需少数ingress controller即可路由数百个后端服务，并能通过kubernetes API实时更新路由规则。

关键技术实现：

1.云原生的高性能高可用业务集群设计

使用云原生应用负载CNAD作为外置Load Balance，提供高性能的负载均衡出口。云原生应用负载提供国泰海通云的插件，当发现国泰海通云的租户有负载需求时，调用国泰海通云的API自动增加一个云原生负载。利用CNADC容器集群的管理面，实现统一管理的管控面，并对接国泰海通云，让云原生负载资源池CNAD按照云租户等述求为业务集群做应用发布。

设计理念：

Kubernetes Native First：深度集成Kubernetes API层，通过CRD实现网络策略、负载均衡等资源的声明式管理，使网络配置与Pod生命周期自动同步。采用CNI标准接口实现与kubelet的无缝协作，支持Pod IP直通及Service IP虚拟化。

智能流量治理引擎：内置动态负载均衡算法，实时感知端点健康状态，支持金丝雀发布等无损流量调度。跨可用区流量智能优化。

极致性能突破：自研技术栈实现用户态数据平面，吞吐性能提升5倍，延迟降至微秒级。

优势与特点：

容器化： 将应用和其依赖项容器化，确保在不同环境中的一致性和可移植性。

微服务架构： 采用微服务架构设计应用，实现服务的独立部署、扩展和维护。

自动化部署：实现自动化部署流程，利用Kubernetes等容器编排工具自动化应用的部署和管理。

服务发现与负载均衡：实现服务发现机制，确保服务实例可以相互发现和通信。利用负载均衡技术分散请求，提高系统可用性和响应能力。

弹性伸缩：利用基于云的自动伸缩服务，根据负载自动调整资源。

安全策略：实现全面的安全策略，包括网络安全、数据加密、身份认证和授权。

监控与日志：集成监控系统，实时监控应用和基础架构的性能。实现集中式日志管理，收集和分析日志数据。

用户界面和体验：开发用户友好的管理界面，简化云服务的配置和管理。

2.云化理念的云原生应用交付云服务化自动化

实现自动化云原生容器负载的容器平台的通信和管理。结合国泰海通科技服务云平台的自动化运维等要求，云上的负载服务组件的架构图，如下图。

CNAD-UI 内嵌到云平台UI

云平台提供一个kubernetes集群或vm节点作为控制面底座，用于部署 CNADC、Adapter API。

VM部署时，CNADC和adapterAPI 均通过docker直接部署; kubernetes部署时，通过statefulset或deployment部署。

每个业务集群部署一个 operator，用于自动部署纳管 CNAD 实例。

CNAD-UI, CNADC, Adapter API, 各业务kubernetes集群的operator 共同组成控制面（control plane）。

云平台创建kubernetes集群时需要从云平台访问kube-apiserver，kube-apiserver需要做高可用负载，此时CNAD还没创建，因此需要做负载代理（实践上使用同时具有代理的功能的GSLB来做）。

同时，结合云平台的适配，实现了多项业务扩展需要的能力。

1）Adapter 访问多个集群的kube-apiserver

Adapter在创建CNADGroup资源(关联Network)时，需要支持指定K8s集群下发，即对接多个集群。 访问集群参数由云平台提供(如集群kubeconfig，url，token等)。

2） Network 网络资源管理

Network资源配置一般不直接开放给租户配置，由云平台提前规划，创建CNAD实例组时由AdapterAPI调用CNADC下发。

3）租户配置管理

云平台查看cnad组列表、虚拟服务列表等内容时，需要进行租户/项目等参数过滤。

另外结合Devops理念，来实现自动化的负载服务。DevOps有效地结合了开发，运营和IT服务团队。

为了培养DevOps文化，使用正确的DevOps流程实施正确的DevOps工具至关重要。持续集成 / 持续交付 / 持续部署（CI/CD/CD）帮助开发人员和测试人员在结构化环境中更快，更安全地发布软件。CNAD使用声明式API集成进CI/CD流水线中。

持续集成：

CI是开发人员每天多次将新代码集成到制品库中的过程。这是比传统方法更好的方法，在传统方法中，开发人员将隔离构建新代码，然后在项目生命周期结束时将其集成到主存储库中。主要目标是在初始阶段检测到任何集成错误，以便可以迅速对其进行纠正。每当新代码与现有主存储库合并时，它将触发新的构建。针对这些新版本执行测试运行以检查是否有破损。

持续交付：

CD确保自动执行软件交付过程，并保障将集成代码交付到生产阶段，而不会造成任何错误或延迟。DevOps实施过程中的CD 可帮助开发人员一致地将新代码与主分支合并，以便他们可以构建即时软件就绪的产品。它负责检查代码的质量，并执行测试以检查它是否可以将功能构建释放到生产环境中。

持续部署：

自动化的最关键部分发生在交付管道的此阶段。只要代码中有重要更改，相应的构建和部署就会同时发生。它是通过连续部署过程实现的，该过程允许对通过CI阶段的每个代码修改执行实时部署更改。在此阶段，从初始代码开始直到代码进入生产阶段，都无需进行人工干预。

3.基于GSLB全局负载的多业务集群容灾设计

随着容器云等架构长期演进，业务不断发展，多集群成为必不可少的架构。我们需要架构高可用，需要异地多region，而多集群架构天生就具备了这样的能力。另一方面我们也希望通过多集群来增加弹性，降低成本。

一类是“同城双活”“异地多活”等场景，可以增加业务容灾等能力；对于全局统一的业务，就近数据中心的访问等全局负载的能力。云原生负载CNAD结合应用交付GSLB的能力，提供不同数据中心，不同集群下的容器云场景下的多集群架构下的应用交付能力；

一类是弹性伸缩，“突变”等场景，不同集群共同提供服务，将多集群作为备用资源池。该模式一般针对无状态的服务，可以快速弹性扩展。CNAD自诞生之初的设计理念就是结合云原生的理念，能满足可弹性扩展等场景要求；

多集群架构：

CNAD云原生基于GSLB容器云场景多集群架构，云原生负载CNAD结合传统应用交付GSLB和4层服务器负载等能力，构建数据中心建设转型升级----基础设施全面云原生化，背景下的不同区域下多层级负载的能力。整体的负载架构围绕高可用，性能可弹性伸缩，简化运维配置的思路构建。

4.基于智能预测的主动式弹性伸缩策略实现

主要是PaaS层的自动弹性伸缩（HPA）。

PaaS平台实现对CNAD实例自动弹性伸缩策略，PaaS监控kubernetes集群的资源使用情况和负载，当达到扩展条件时，自动实现对资源的扩展。扩展条件可以为：集群应用的所占CPU使用率、集群应用的所占内存使用率、集群负载流量三个维度。

PaaS层的弹性伸缩，是针对kubernetes集群中负载pod的合理调度。当前的pod调度，主要基于CPU和内存，在主动式弹性伸缩中，除了CPU、内存的资源指标外，增加pod、对象、扩展三种资源类型：

对于pod类型弹性伸缩，支持自定义pod的监控对象，如PPS（每秒的请求包数），并指定触发条件；

在对象类型的弹性伸缩中，支持自定义的对象，且能够指定对应的api版本和api地址，如ingress的请求个数，AD的负载个数或趋势，kubernetes中自定义的对象（如，cpu变化趋势，5min后cpu预留等）；

在扩展类型的弹性伸缩中，支持对kubernetes扩展api的弹性伸缩策略制定。

在可扩展的弹性伸缩中，通过部署metrics组件，以便能够实现对相应指标的监控，从而触发弹性的条件。

四、项目过程管理

项目各阶段的实施周期

第一阶段：

1.主要工作内容：

项目立项，所需资金全部筹措到位，项目研发团队组建完成并且开始进行技术研发工作。项目计划新购的软硬件仪器设备购置到位。

2.关键里程碑：

完成部分关键技术的预研工作：

确定最优技术方案

可行性分析报告

完成系统方案设计

完成总设计方案

第二阶段：

1.主要工作内容：

项目功能模块完成技术研发工作，完成关键技术研发并且完成上线前的测试工作。

2.关键里程碑：

实现项目主要研发内容：

开发负载所需全面的功能和策略

开发管理和运维监控模块

开发高性能分布式功能模块

第三阶段：

1.主要工作内容

项目完成计划的全部技术研发及测试工作，发布云原生负载CNAD服务，并且完成在业务环节实际使用，准备实现大规模的应用与推广。

2.关键里程碑：

全部技术研发及测试工作、示范应用取得反馈：产品性能、用户体验效果、验证产品的高效性、安全性、稳定性等，并进行优化。

第四阶段

1.主要工作内容

完成项目所有的建设工作

2.关键里程碑：

项目准备结题验收。

第五阶段：

1.主要工作内容

产品实现批量部署与应用

2.关键里程碑：

云原生应用负载实现内部全面推广

五、项目成效

1.经济效益

成本节约

硬件成本：云原生技术利用云计算资源，避免了金融机构大量投入资金购买和维护传统硬件设备，如负载均衡器等。科技服务云负载均衡可借助云计算资源，无需高额的硬件购置与维护费用，节省了硬件投资成本。

运维成本：云原生架构实现了自动化运维，通过自动化工具和平台对系统进行管理和监控，减少了人工干预，降低了人工成本。同时，云原生负载均衡能实时监控和调整服务器资源，提高资源利用率，降低运营成本。像一些金融机构采用云原生负载均衡后，运维人员可以通过远程监控实现跨平台管理，减少了现场运维的工作量和成本。

业务增长与收入增加

提升服务质量与客户满意度：软负载均衡和多活能力确保系统在高并发环境下稳定运行，提供快速响应和可靠服务。

支持业务创新与拓展：云原生技术的灵活性和可扩展性使金融机构能够快速推出新的金融产品和服务，满足市场多样化需求。

资源优化与高效利用

资源合理分配：软负载均衡技术可根据服务器性能和业务需求，智能分配流量，避免服务器资源浪费，使资源得到更合理的利用。

弹性伸缩降低成本：在业务量波动时，云原生架构可实现资源的无缝伸缩，避免资源闲置或过度配置。在业务低谷期减少资源使用，降低成本；在业务高峰期增加资源，确保服务质量，实现资源的高效利用和成本的优化控制。

2.社会效益

提升金融服务质量与效率

保障业务连续性：多活架构和软负载均衡技术有效应对各种故障和灾难，确保金融业务不受影响，持续为客户提供服务。这有助于维护金融市场的稳定，保障社会经济活动的正常运转。例如，在面对突发流量高峰或系统故障时，系统能自动调整流量分配，保障业务正常进行，避免因服务中断给客户和社会带来损失。

优化客户体验：通过快速响应和稳定的服务，提升了客户在金融交易、业务办理等方面的体验。客户能够更便捷、高效地完成各类金融操作，提高了客户对金融机构的信任度和忠诚度，促进了金融行业的健康发展。

推动金融行业数字化转型

促进技术应用与创新：课题项目的实施推动了云原生、软负载均衡等先进技术在金融行业的广泛应用，加速了金融行业的数字化转型进程。金融机构采用这些技术，能够更好地适应市场环境变化，提升自身的竞争力，同时也为行业的技术创新和发展提供了实践经验和示范作用。

带动相关产业发展：该课题项目的开展将带动云原生技术、软件开发、系统集成等相关产业的发展，形成产业集群效应，创造更多的就业机会和经济增长点，促进社会经济的繁荣。

增强金融行业安全性与合规性

保障金融数据安全：云原生架构提供了丰富的安全服务和防护措施，如访问控制、数据加密、安全审计等，保障了金融业务数据的安全性和隐私性。这有助于防范金融风险，维护金融秩序的稳定，保护广大金融消费者的合法权益。

满足监管要求：金融行业受到严格的法规约束，云原生负载均衡可以帮助企业符合相关法律法规和行业标准的要求，降低法律风险。例如，通过记录详细的访问日志和操作历史，方便进行审计和合规检查，确保金融机构的经营活动合法合规。

六、经验总结

1) 技术创新与应用

积极拥抱新技术：金融机构应积极关注和应用云原生、微服务、容器、服务网格等新兴技术，以提升系统的性能、可扩展性和灵活性。

加强技术研发与合作：金融机构应加强与高校、科研机构的合作，开展联合研发项目，共同攻克技术难题，推动技术创新。同时，要注重技术的自主研发和创新，提高自主可控能力。

2) 架构设计与规划

合理规划架构布局：在进行架构设计时，要充分考虑业务需求和发展趋势，合理规划数据中心和系统的布局，如采用两地三中心、异地多活等架构模式，以提高系统的可用性和容灾能力。

遵循统一标准和规范：在架构设计和建设过程中，要遵循统一的研发标准和规范，确保系统的兼容性和可维护性。

3) 风险管理与应对

建立风险管理体系：金融机构应建立完善的风险管理体系，对云原生和多活架构下的技术风险、业务风险等进行全面管理和监控。

制定应急预案：针对可能出现的故障和灾难，制定详细的应急预案，并定期进行演练，以提高应对突发事件的能力。