一、项目背景及目标

数字经济时代，数据成为当之无愧的关键生产要素。作为数据的载体，企业数据中心承担着数据资源的存储、计算、交换的功能。随着数据规模的飞速增长、数据访问的更低时延、数据类型的极大丰富和数据重要性的不断提升，推动计算、存储和网络这数据中心三要素的融合与协同，产生了分布式、超融合、RoCE-SAN等诸多新产品形态。

为了实现我行科技战略，响应工信部新型数据中心三年行动计划，深化推进数智化转型升级，我行信息技术部积极探索信息技术应用创新。2022年我行探索基于RoCE-SAN的下一代数据中心高性能网络存储平台，通过NVMe SSD及NOF+技术，推动基础设施升级转型，实现数据中心基础设施全栈国产自主可控。

二、创新点

基于RDMA交互的新一代RoCE-SAN网络采用通用以太网交换机构建，基于IP和RoCE通用存储网络协议运行，不仅提升了生产系统存储网络的标准化、开放性及可扩展性，更进一步提升了生产业务自主可控的能力。实现了25G接入，同时具备40G\100G接入的演进能力。网络容量大、带宽足，可充分发挥全闪存NVMe百万级IOPS的优势，以满足未来数据存储容量PB级发展的需求。

RoCE-SAN网络可充分发挥网络的优先级流量控制、主动差异化控制等价值，在拥塞场景下拥有更大的带宽利用率及更低的平均时延，与FC-SAN相比，其高可将流量突发导致的拥塞时延降低50%。当存储阵列出现故障时，计算节点可以在1秒内完成多路径切换，保证整个系统的稳定可靠。

FC存储网络协议相对封闭，设备厂商仅有两家，且都为国外厂商，缺少替代产品。

RoCE-SAN使用通用以太网交换机构建，运行的协议更标准和开放，提升了生产业务的自主可控的能力。

无损机制：FC-SAN是Buffer Credit机制，RoCE-SAN是PFC+ECN机制。

接口带宽：FC-SAN主流16G/32G,RoCE-SAN主流的有25G/100G。

存储多路径：FC-SAN基于存储多路径软件，RoCE-SAN基于NVMe存储多路径软件。

此项目中存储网络稳定运行半年有余，实践证明RoCE-SAN在功能、IOPS性能和故障收敛性能方面均达到并优于FC-SAN。

三、项目技术方案

基于RDMA交互的新一代RoCE-SAN网络，采用通用以太网交换机构建，基于IP和RoCE通用存储网络协议运行，将25G的RoCE-SAN交换机与双活架构的NVMe存储对接，对接两种不同厂商的国产云平台，已稳定运行近六个月。

对应架构图如下：

四、项目过程管理

该项目由江南农村商业银行信息技术部牵头组织，系统保障中心团队负责具体实施，采用职能型组织实施方式。主要经历了以下五个阶段：

1.需求分析和概要设计阶段

2022年05月至2022年06月，主要完成了存储网络项目需求分析和对接云平台的概要设计阶段工作，形成了项目需求说明书。

2.系统详细设计阶段

2022年08月，主要完成了存储网络系统架构详细设计工作，形成了系统设计方案文档。

3.系统测试和上线准备阶段

2022年09月至2022年11月上旬，主要完成了存储网络招标采购、安装部署，对接云平台后的测试工作，形成了系统安装配置手册及系统测试文档。

4.试点上线阶段

2022年11月中旬，主要完成了试点上线工作，存储网络已满足正式上线的条件。

5.推广应用阶段

2022年11月下旬，主要完成了对接存储网络的云平台正式上线运行，形成了项目验收文档。

五、运营情况

传统的FC网络封闭，受限于国外厂商供应，缺少替代方案。随着NVMe协议升级，基于RDMA交互的新一代RoCE-SAN网络应运而生。从我行实践来看，无论是吞吐量还是IO延迟，基于端到端NVMe的解决方案都优于传统的FC-SAN架构。方案实现了对传统以太网静态水线方式的改变，并对网络预测性能力进行专项优化；针对特定场景，通过算法进行精准控制，能够预判业务对网络的诉求，提前做出优化，实现高吞吐带宽。目前云平台运行虚拟机两百多台，包含信创类的应用和数据库服务。既有OA、邮箱、全行影像档案、数字化管理平台等管理系统，也有IC发卡、中间业务、ATM等业务系统，整体环境已稳定运行六个多月。

六、项目成效

此次项目的成功实践，证实RoCE-SAN完全可在生产环境替代FC-SAN，摆脱对国外FC交换机的依赖，另外存储网络的建设成本可大为降低。同端口数的对标情况下，单台FC交换机的采购成本要比RoCE交换机多支出大十几万。考虑到数据中心级设备数量的规模效应，节省成本基本在百万起步。RoCE交换机完全国内生产国内供货，相对FC交换机采购周期缩短，供货稳定。

七、经验总结

该存储网络及前端服务器全栈使用国产化芯片及系统，已成功对接两款国产云平台，其上共运行了二百余台虚拟机，涉及四十余个系统，已稳定运行近六个月并经历了对性能要求较高的系统考验，满足生产环境对存储网络的高可用、高性能要求，证明已经完全可以替代现有存量FC-SAN存储网络。

FC-SAN存储网络不仅封闭，并且技术都被国外厂商垄断，通过我行本次RoCE-SAN存储网络在生产环境的具体实践，证明国内该领域的关键基础设施完全可以摆脱国外特定厂商的局面，为我国信息技术应用创新工作贡献一份力量。