一、项目背景、目标及相关规划

1.项目背景

长久以来金融行业数据中心存储在关键应用和高性能场景主要是依赖于FC-SAN存储网络进行传输，FC-SAN存储网络技术和设备生产基本被博科、思科等美国公司所垄断。近几年随着传输技术的不断发展，存储技术的不断更新迭代，国内NVMe over RoCE存储网络日趋成熟。

2021年贵阳农商银行启动了信创试点工作，需要完成存储、服务器、网络、虚拟化平台、数据库等软、硬件方面的信创选型，形成自有的信创基线，为业务系统国产化改造提供有力支撑。为了贯彻落实国家对国产化自主可控的要求，保障数据中心基础设施和数据安全，结合实际情况，贵阳农商银行正式启动基于RoCE-SAN存储网络的金融信创云建设工作。

2.项目目标

为充分控制机房能耗和大程度利用机柜容量，贵阳农商银行除核心系统外，所有信息系统应用节点均部署在VMware虚拟化平台上，生产虚拟机约600余台，测试环境虚拟机约2000多台。随着信创试点工作覆盖面逐步增大, 面临着服务器数量巨大，机房部署压力大的难题，若不考虑用信创虚拟化云环境来替代物理服务器，建设、维护成本会越来越高。

基于RoCE-SAN存储网络的金融信创云建设工作，建设目标一是RoCE-SAN存储网络替代传统的FC-SAN存储网络；二是信创云平台替代国外虚拟化产品；三是实际业务基于FC-SAN存储网络的应用；四是降低数据中心能耗和推动整体解决方案的落地。终实现基础环境全栈国产化替代方案，逐步丰富适合金融行业要求的产品生态圈。

3.建设规划

基础设施选型：一是同时具备FC和RDMA“国芯”控制器的存储选型，二是国芯RDMA交换机选型，三是国芯服务器选型，四是有银行业生产案例的国产信创云选型。

适配性选型：对选择的基础设施产品的多种组合，从兼容性、功能、性能、稳定性等方面进行详细的测试和验证，结合RoCE-SAN存储网络，来实现适合贵阳农商行的基础环境国产化方案。

二、创新点

1、高性能、高可靠

同比原有FC-SAN架构，业务整体性能提升了10%，传输效率提升了近40%。另外在网络故障的场景下，交换机可快速感知主机、存储及网络的状态变化，并通报主机进行多路径切换，使端到端的切换时间小于1秒，确保了系统的高可靠。

2、自主可控、开放生态

采用通用以太网交换机构建，基于IP和RoCE通用存储网络协议运行,能够与业界主流的OS进行协同对接，可基于标准开放的API与更多第三方伙伴共建场景化服务，共同打造生态圈。

3、灵活上云

实现数据中心内SAN网络与普通业务场景LAN网络的无缝对接及混流运行，在将存储服务器云化的同时，降低了管理的复杂度和运维成本，提升了整个IT基础设施的自动化水平和业务敏捷性。

三、技术实现特点及优势

采用NVMe协议的国产芯片宏杉存储（MS7020G2-AFT-HG）+国产芯片服务器+华为CE6860-SAN无损交换机+紫光云平台，结合RoCE v2协议的组网方式，实现了贵阳农商银行基础环境国产化替代架构。同比传统的FC-SAN架构，业务整体性能提升了10%，传输效率提升了近40%。

四、项目过程管理

该项目由贵阳农商银行牵头组织，紫光恒越技术有限公司、杭州宏杉科技股份有限公司、各应用系统厂商共同参与。主要经历了以下六个阶段：

*****阶段，测试用例的讨论与确定：与合作厂商确定测试RoCE-SAN存储网络的基本性能、高可用指标，进行前期研究理论的验证。

第二阶段，测试环境的搭建：与合作厂商结合测试用例，确定端到端的信创全栈架构的配置，协调借货并进行终的环境搭建。

第三阶段，技术理论测试：结合前面章节对RoCE-SAN存储网络的研究，实际环境验证基于NVMe的应用趋势下，RoCE-SAN存储网络是否相对于FC-SAN有优势，高可用性是否有差距。生产环境基于RoCE-SAN存储网络的信创云平台于2022年4月正式投产。

第四阶段，实际业务系统上线：对信贷、内部资金转移定价（FTP）等系统进行模拟环境的部署，采用完全真实的行内软件和数据，在性能和可靠性上进行实际的验证，该部分工作分三批次进行，前两批已于2022年7月和12月完成，第三批次将启动包括ESB、柜面、互联网业务等更为核心的交易系统。

第五阶段，问题总结：重点对生产中遇到的问题进行总结和分析。

第六阶段，通过一段时间的稳定运行、经验积累，逐步形成可复制的标准化替代方案，推动厂商进行互认证，打造全栈国产化生态。

五、运营情况

生产环境基于RoCE-SAN存储网络的信创云平台于2022年4月正式投产。截止2022年底，已有19个业务系统运行在RoCE存储网络信创云平台，满足系统稳定性、连续性、可靠性的要求。近2年正在加大迁移力度，重要信息系统从VMware虚拟化平台迁移至国产信创云平台将达到70%。

六、项目成效

基于RoCE-SAN存储网络的信创云平台，形成具有代表性的金融行业基础环境全栈国产化替代方案，提升了自主可控能力，降低了对国外产品的依赖和信息安全风险。

（一）经济效益

贵阳农商银行通过对RoCE技术的无损以太网替代FC-SAN存储网络在信创云平台的应用，能降低信息设备国产化替代的成本。该项目的成功实施，将物理服务器虚拟化，能方便合理分配各信息系统所需物理资源，使物理服务器性能得到充分利用，有效避免了资源浪费。

若采用传统的物理架构，仅2022年生产环境19套信创新建或信创改造的信息系统所需服务器就高达64余台，采用RoCE技术的无损以太网技术的云平台，节省了服务器34台，节省近60%，且云平台还剩大量计算资源可用。以一台服务器15万元计算，节省了采购成本510余万元。同时节省存储交换机及以太网交换机各2台，节省成本50余万元。与传统物理架构相比，云平台架构所需物理设备数量大幅减少，综合能耗降低了约60%。

（二）社会效益

基于RoCE存储网络替代SAN存储网络的信创云平台的应用，创造了以下几个方面的社会效益：

1.降低了金融机构的试错成本。该项目涉及到存储设备、服务器、云平台、应用系统，覆盖面广，实施周期长，经过多轮测试，反复验证，终成功上线。通过在真实金融业务场景长期应用，各类设备和云平台功能得以完善，在相同基础设施架构下能让同业少走弯路，降低试错成本。

2.自主可控。随着RoCE无损以太网存储网络技术的成功应用，实现了国内存储网络传输技术的自主可控，打破了金融行业对传统FC-SAN存储网络技术的严重依赖，金融行业排除了因企业垄断、技术封锁、国际争端等因素带来的业务连续性风险，保障了金融业的信息安全。

3.形成可复制的基础环境全栈信创替代方案。基于该架构的基础设施全部为“国芯国魂”硬件设备，能适配国产操作系统、中间件，具有经济成本优势，形成了可供同业参考的信息信创改造或建设替代方案。

4.推动企业产品互认证。基础设施建设及运行，给硬件设备厂商和软件厂商提供了真实的金融行业务场景。在贵阳农商银行方不断优化运行环境资源、应用代码后，使得所选硬件和软件适配性越来越好，融合度越来越高，直接促成了参与厂商完成兼容性、设备性能、可靠性等互认证，有助于硬件设备厂商向其他单位、行业进行推广和复制，为国产化生态的形成贡献了自己的力量。

七、经验总结

基于RoCE -SAN存储网络的信创云平台能实现数据存储（国产控制器）+存储网络+信创云平台全栈国产化替代，提升自主可控能力，降低对国外产品的依赖和信息安全风险。该平台已在贵阳农商银行稳定运行一年多，满足生产环境高可靠、高可用、高性能要求。总结平台建设经验，形成的《基于RoCE 技术的无损以太网存储在信创云平台实施部署白皮书》具有一定借鉴意义。