项目背景及目标

近年来，第三方支付市场发展迅猛，交易量快速增长，且存在特定时点爆发性增长的特点。2016年双11第三方支付总笔数230万，2017年双11第三方支付交易总笔数357万笔。2018年双11第三方支付交易总笔达到了536万笔。对现有银行系统处理性能提出了较高的要求。经过2018年几次支付宝的模拟压力测试和双11的大交易量考验，我行现有系统架构暴露出了很多性能短板，随着支付业务逐步转接网联，处理性能的瓶颈将更加突出，急需优化现有架构，以更好的适应第三方支付业务的快速增长。

目前行内承接该业务的“第三方支付过渡系统”为过渡方案，将无法支撑未来快速增长的网络支付业务。依据IT规划，需在统一支付平台将承接全行级统一支付体系的建设，整合第三方支付全链路业务，实现2019年系统性能优化目标TPS及交易耗时。

项目方案

在广东农信在IT战略规划指引下，按照平台化、微服务、分布式架构转型的思路，吸收过往第三方支付业务运维经验，新搭建一套“高性能、高可用、可扩展、高可控”的第三方支付业务处理系统。项目计划于2019年2月投产上线，2019年4月完成第三方支付业务迁移，为2019年双十一的第三方支付压测性能调优目标作准备。新系统平台链路节点包括农信银前置MFE、第三方支付外联、统一支付平台、ESB、核心等系统节点，除核心系统外其他全部节点（包括签名验签、加解密等节点）均为新规划建设的分布式集群架构。关键节点如下：

1.农信银MFE。MFE为2台LINUX版本集群部署，4MQ通道。目前正在准备MFE横向扩容，计划扩充至4台LINUX集群，8MQ通道，以提高MFE的并发吞吐能力。另外，也按照集群架构新部署构建了MFE关联的安全平台，使用科友5.X版本安全平台。

2.ESB系统与外联平台。ESB系统为X86平台集群部署，包含接入容器、核心路由、接出容器、流水服务、管理控制台、数据采集器以及消息中间件等主要组件。负责各渠道、各系统之间的互联互通，在第三方支付中承担统一支付发往核心记账的协议转换、报文转换、流量控制等。ESB应用系统集群节点相互独立，利用负载均衡设备实现横向扩容。

外联平台采用与ESB一样的架构模式，是对接MFE前置与统一支付平台之间的业务分流系统。具有报文分发、协议转换、报文转换、流量控制等功能。通过外联平台，实现第三方支付业务与其它农信银传统支付业务的隔离，使第三方支付业务能平滑衔接到新的统一支付平台系统。签名验签管理由外联平台完成，签名验签服务也是集群部署架构。

3.统一支付平台。采用微服务模式构建，基于X86平台集群部署。包括统一支付前置、统一支付应用、Redis、Oracle RAC等节点群。服务端采用Dubbo作为服务治理的技术框架，配合使用缓存服务、消息队列等高性能组件建设成一套“高性能、高可用、可扩展、高可控”的第三方支付业务处理系统。整个统一支付平台具有协议支付、网关支付、签约管理、支付提现、认证支付等业务处理能力，是处理第三方支付业务逻辑的主要系统。

创新点

统一支付平台创新点：

1、采用业内新颖的微服务分布式架构，去中心化，按业务维度划分微服务中心，支持容灾处理，支持横向快速集群服务扩展能力。

2、应用redis缓存中间件技术，在限额，发号器，金融和非金融交易读写分离等方面创新性引用redis缓存技术，实现了系统的读写性能大幅提升，在读取签约信息时候可以达到11万次/s，写入限额信息时候可以达到8.1万次/s的速度，为第三方支付快速支持交易处理提供有效支撑；

外联、ESB平台创新点：

1、反编译开源组件，深入JVM调优，通过压测与底层代码相结合，优化各类同步锁、线程池、令牌数、连接数以及多个通讯参数。

2、采用纵向分层、横向对称设计，将新旧异构系统解耦串联，保证横向集群扩展的可操作性，同时加入软硬负载、主备流控以提供灰度发布、灵活分流等，这一系列举措有效降低技术复杂度、大大提高性能天花板。

3、使用弱数据库模式，异步登记全平台流水、实时统计预警数据，减少数据库对系统性能的影响，并保障性能指标、优化规律的及时了解。

核心创新点：

1、研究交易队列机制,合理减少交易队列数，优化联机交易对信号量、共享内存的访问。优化后减少50%的访问次数;

2、通过对传统架构核心系统的合理优化，提供可靠稳定的后端处理性能保障。在核心系统服务器硬件资源扩容存在制约，无法横向扩展的情况下，通过对现有交易处理大量的优化，大大提升了系统交易性能，降低了交易耗时。主要包括以下举措：拓展内部TPC网关、交易账户预读取、规避跨库访问、降日志文件I/O、降“热点”资源访问和降“大表”访问频次等。

技术实现特点

高性能

针对第三方支付高并发的需求特点，平台采用缓存读写技术，将高频读写要素存放到缓存中，大幅提升读写性能（读取11万次/s，写入8.1万次/s），为第三方支付支持高并发交易处理提供有效支撑；减少和数据库交互次数，简化交易流程。

可扩展

第三方支付系统针对农信银业务模型进行解构，拆分功能模块，采用微服务治理模式进行服务划分。将支付服务、清算对账服务、限额服务等独立部署，各个模块通过服务拆分实现组件化，即可快速根据业务交易量的需要进行弹性扩容，也可根据业务迭代的需要进行组建扩展。

高可用

网联要求我行第三方支付平台支持7*24小时不停业服务，因此在进行平台建设技术选型时，项目组采用微服务集群部署方案，通过集群部署，对应用异常、新功能上线投产等需要停机维护的情况，可做到不影响线上交易的前提下同步进行。同时通过完备的微服务治理工具，可以实时监控集群中各个服务的状态，毫秒级探测，迅速将请求转发到可用服务，达到平台高可用要求。

高可控

第三方支付平台由我行自主研发，平台中的各个组件自主开发，使用业界成熟的解决方案，不依赖第三方产品或服务，可支持我行自主控制平台的修改及更新，从而实现平台灵活扩展及修改。

项目过程管理

为优化我联社第三方支付业务系统架构，提升第三方支付业务的处理性能，银信中心于2018年3月启动了在统一支付平台的基础上建设新第三方支付系统实施工作，项目分三阶段建设，一阶段为主业务系统的建设部署，已于2019年2月19日顺利投产。二阶段为集群MFE的投产接入以及存量第三方支付业务从旧系统迁移至统一支付平台。已于2019年4月26日完成了存量5家支付机构业务迁移，迁移后，系统运行稳定。三阶段为第三方支付业务全链路压测及性能参数调优。

运营情况

自2019年4月26日项目二阶段完成后，存量5家支付机构的所有业务全部迁移至统一支付平台，包括支付宝、财付通、网银在线、易付宝、百付宝，迁移完成后系统运行稳定，并上线了信用卡业务，同时在8月份上线并且新开通了12家支付机构的业务可做。运营情况如下：

截止2019年8月31日，统一支付平台存量签约记录合计20,176,646条，比7月新增签约530,886条，其中支付宝签约总数8，702,469，财付通签约总数10,612,374。 分别占比总数的43%、52.3%。

2019年8月，统一支付平台受理协议支付95,966,987笔。其中支付宝支付成功总笔数15,951,098笔，占比15.98%，日均,514,552笔，笔均565元；财付通成功支付总笔数79,828,910笔，占比83.18%，日均2,575,126笔，笔均424元。网银在线支付成功总笔数97,793笔，日均3155笔，笔均444元；易付宝成功支付总笔数24,737，日均457笔，笔均505元；百付宝支付成功总笔数10,679笔，日均345笔，笔均1719元。其他支付机构支付成功总笔数53,752，日均1734笔，笔均1180元。

2019年8月，统一支付平台成功受理付款14,641,179笔。其中支付宝付款成功总笔数2,339,681笔，占比15.98%，日均75,474笔，笔均1825元；财付通成功付款总笔数12,244,798笔，占比83.63%，日均394,993笔，笔均2057元。

项目成效

2019年9月5日、6日，省农信联社参加了由网联清算有限公司和农信银资金清算中心联合组织的第三方支付交易全国生产压力测试检验，在参加联测的14家省级农信联社及农商行中，两次压力测试检验的TPS（每秒交易处理量）分别位居*****与第二位，且单笔交易平均耗时短。其中，在9月5日的农信系统专项汇测中，我联社第三方支付交易TPS达到1143，单笔交易耗时374.82毫秒，TPS值是其他联社平均值的2.55倍，单笔交易耗时比平均值少296.15毫秒;在9月6日的网联汇测中，我联社第三方支付交易TPS达到1132,是其他联社平均值的2.4倍，在支付宝用户侧的单笔交易耗时为400.12毫秒，较其他联社平均值少237.05毫秒。

经验总结

第三方支付系统建设及优化项目按时保质投产上线，同时经过实际压测数据检验，在农信银的大汇测中取得了优异的成绩，经验总结如下：

（一）优秀项目团队。

广东联社一直非常重视第三方支付系统的建设和性能提升工作。针对项目目标，成立了跨网络金融、信息技术、软件研发测试、运维管理等多个部门的项目团队，全面统筹负责推进新系统建设及第三方支付性能提升工作，各部门业务技术骨干按工作组架构职责与责任分工，分时、有序、高效地开展项目建设工作。特别在性能优化工作期间，银信中心分管科技的副总裁亲自挂帅担任领导小组组长，各部门积极配合，在项目实施期间，在系统资源协调、项目人力资源配备、系统架构方案选型、开发测试效率等方面都得到了极大的保障

(二)微服务分布式系统架构

统一支付平台采用Aibaba开源的分布式服务架构，他大的特点是按照分层的方式来架构，这种方式可以使各个层之间解耦合（或则大限度地松耦合），从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象服务方和消费方两个角色；dubbo可除了可以提供服务之外，还可以实现软负载均衡，他还提供了monitor监控中心和调度中心，平台可以灵活调度服务和监控服务健康状态；通过构建（服务方，消费方、注册中心等模块），从而至力于提供高性能和透明化的RPC远程服务调用方案。