一、项目背景

进入数字经济时代，与数据存储相关的法规与指导政策密集出台，在网络空间安全领域，我国已构建起“五法一典”的立体法律保障体系。习总书记强调: “实施国家大数据战略加快建设数字中国，要构建以数据为关键要素的数字经济，推动大数据技术产业创新发展，切实保障国家数据安全。”

湖北农信作为金融大数据代表单位，自身数据在数据经济时代面临着以下两个新形势变化：1、数据量指数增长，但迅速变冷，具有“写一次，低频读”模式；2、不断挖掘数据的价值，需要长期可靠(数十年以上)和低成本(节能，运维) 的需求变化。

在现有共享数据与非结构化数据爆发式增长的背景下，且现网NAS存储经历长达十年的持续运行，设备容量接近饱和，硬件日趋老化，已不能满足应用数据共享的性能、安全及容量需求，现如今迫切需要使用性能更加高，安全更加稳固的大容量NAS替换现网NAS。

新购NAS存储也将面临大量的数据迁移所带来的困扰，怎么能小的影响现网生产业务，减少由于NAS迁移带来的业务中断、更加安全可靠的迁移方式成为了目前大的拦路虎，通过使用脚本及工具完成存储庞大的数据容量及共享目录的安全可靠的NAS迁移切换，成为此次NAS存储替换的大价值。

引入国产自主知识产权的光电磁存储一体化设备，对长期不用的数据进行冷存储，充分实现在保障安全可靠的前提下又能完成节能减排的绿色低碳解决方案。

通过本次生产NAS存储更换及数据迁移，既完善存储容灾架构，提高安全生产冗余性，又满足业务快速发展和业务连续性监管要求。

二、项目方案

（一）项目宏观需求

核心需求体现为以下四点：

1、安全可靠。勒索软件攻击频发，数据存储面临病毒攻击和数据丢失的高风险，亟需完善可靠的存储和灾备方案。

2、长效保存。银行业数据由于特殊的行业要求，相对互联网和 IT 企业对数据的保存期限要求更高。

3、自主可控。由于行业关系到国计民生，相关先进技术之前基本被国外大型厂商垄断，需要可靠且自主可控的方案进行国产化替代。

4、低碳能耗。在双碳政策指引下，传统 IDC 存储耗能巨大，不符合节能减排的新时代要求。

（二）项目迁移技术需求

“全容灾、热备份、温归档、智融合”的全场景数据保护能力，实现业务不中断，数据不丢失，信息长期留存。其中具体体现为以下三点：

1、深度融合：融会贯通，提升数据服务效率。

2、稳定可靠：从产品到方案实现 99.9999%高可用。

3、卓越性能：满足企业业务的性能弹性增长需求。

（三）存储介质

传统存储方式大部分基于磁盘和磁带技术，具有性价比高的优点，也带着能耗高、核心生产设备商几乎被国外垄断卡脖子的缺点。本项目引入新型光电磁存储一体化设备，充分发挥光电存储的特性作为补充，在充分利旧的前提下逐步替代传统存储方式以实现节能减排和安全可靠。光电磁三种存储介质的特点如下图所示。

采用光电磁一体化存储解决方案，可以将常年不用的历史数据划归为“冷”数据，近期需要频繁访问的数据归为“热”数据，然后充分利用不同存储介质的特性，充分实现能耗友好，具备如下优势：

1、全面覆盖各类数据存储应用场景，提供热数据备份冷数据归档一体化解决方案;

2、磁光双备份，高可做到磁光 1:1 配比，缩短单一光介质的数据调用延迟，数据反应达 1s 级，数据性能大幅提高; 

3、数据安全性更高，防篡改、防丢失、防病毒、防洪水、防电磁炸弹、可审计;同时实现统一对分布式块、文件和对象 存储加密，实现高安全要求下的无条件安全数据存储解决方案; 

4、数据存储周期更长久，可达50--100年;

5、整体存储成本低，30年内综合存储成本仅为传统存储 6% 。

（四）技术特点  

使用新RAID技术，使用固态硬盘及机械硬盘混合存储，智能区分冷热数据（冷数据：不长用文件例如备份文件，远期记录文件等；热数据：业务数据，日常文件等），加速文件系统IO吞吐效率。

1、快速重构

每个物理硬盘的CHUNK会和多个硬盘的CHUNK组成RAID，单个硬盘故障后参与重构的硬盘比传统方式多很多，可以极大提高重构速度，快可以达到每TB重构30分钟完成。

传统硬盘重构的瓶颈主要在目标盘(热备盘)，因为所有成员盘将所有数据读出后重 构数据会全部写入到目标盘，其写带宽就成了整个重构速度的关键，而经过RAID2.0+块虚拟化后将有两个方面的提升：RAID2.0+快可以达到每TB重构30分钟完成，重构时间的缩短，将大大降低双盘失效的概率。

2、硬盘负载均衡

RAID2.0+技术将使硬盘自动负载均衡， Volume的数据被均匀分布到阵列内所有的硬盘上，可以防止局部硬盘过热，提升可靠性。在参与业务读写过程中，阵列内硬盘参与度高，有效提升系统性能。

3、大化硬盘资源利用率

LUN/文件系统基于资源池( Pool)创建，不再受限于 RAID组磁盘数量，单个LUN/文件系统的性能可得到大大提升；由于资源池中的磁盘数量不受限于RAID级别，免除传统卷管理技术环境下有些RAID组空间利用率高而有些RAID组空间利用率低的状况，并借助LUN/文件系统动态扩容，从而提升磁盘的容量利用率。

4、提升存储管理效率

易规划：无需花费过多的时间做存储预规划，只需简单地将多个硬盘组合成存储池，设置存储池的分层策略，从存储池划分空间(卷)即可；

存储池易扩容：当需要扩容存储池，只需插入新的硬盘，系统会自动的调整数据分布，让数据均衡的分布到各个硬盘上；

卷易扩容：当需要扩容卷时，只需输入想要扩容的卷大小，系统会自动从存储池中划分所需的空间，并自动调整卷的数据分布，使得卷数据更加均衡的分布到所有的硬盘上。

5、阵列双活

使来自两套存储阵列的两个LUN数据实时同步，且都能提供主机读写访问。当任何一端磁盘阵列整体故障的情况下主机将切换访问路径到正常的一端继续业务访问；当磁盘阵列间链路故障时只有一端继续提供主机读写访问，具体由那端提供服务将取决于仲裁的结果。仲裁服务器部署在第三方站点，用于两套存储阵列之间链路中断时，仲裁由哪边的存储继续提供业务访问。

6、LUN 异步远程复制

与同步远程复制类似，当主站点的主LUN和远端复制站点的从LUN建 立异步远程复制关系以后，也会启动一个初始同步，初始同步完成后，从LUN数据状态变为已同步或一致，然后按照下面流程处理(见下图)：

7、多地多方案容灾

两地三中心(3DC)双活+一体化备份级联、并联组网                                                                3DC解决方案可以在不增加外部网关的情况下，从单站点平滑扩展到三站点保护。

（五）实施方案

迁移工作以按照对生产环境造成的小影响为基准，先通过低速全量同步备份的方式，对数据进行分配同步备份，再在业务停机窗口对增量数据进行同步备份，增量同步完成后，在操作系统层面进行挂载点切换，并配置操作系统相关挂载策略调整。

1. 部署迁移服务。

2. 添加迁移服务器需要先部署迁移服务，然后添加迁移服务器。

3. 添加迁移服务器。

4. 初始同步迁移。

5. 增量同步迁移。

6. 查看迁移报告。

7. 验证数据一致性。

8. 启动业务并验证。

9. 完成源存储接管并启动上层业务后，检查业务系统状态。

迁移步骤操作均在迁移工具的管理机上进行可视化操作，操作完成后使用脚本进行数据一致性检测验证。

数据在线迁移的实现过程分为两个阶段：

1、数据同步

1. 迁移前，客户需要配置迁移的源LUN和目标LUN。

2. 迁移开始时，数据由源LUN复制到目标LUN。

3. 主机此时可以继续访问源LUN。主机写入源LUN数据时，系统首先在DCL ( Data Change Log)中记录差异日志。

4. 写入的数据同时向源LUN和目标LUN双写。

a. 如果双写成功，系统清除DCL上此次写入LBA的记录。

b. 如果目标LUN写失败，存储侧将DCL上记录的未同步成功的数据拷贝至目标 LUN，拷贝结束后返回主机写I/O完成；

c. 如果源LUN写失败，返回主机写I/O失败，主机重新下发数据至源LUN，但不 写入目标LUN。

2、LUN 信息交换

数据复制完成后，主机IO将暂时悬挂，源LUN和目标LUN进行信息交换，具体原理如图所示：

图 LUN 信息交换示意图

当存储系统运行文件业务时，存储通过远程复制异步复制模式，可以实现周期性地同步数据，大限度减少由于数据远程传输的时延而造成的业务性能下降。

主机对主文件系统进行写操作，只要主文件系统返回写请求成功，即向主机返回写请求成功。

通过用户手动触发或系统定时触发同步，保证主文件系统和从文件系统数据一致。

三、创新点

项目在建设或推广应用等方面的创新点主要体现为两个方面，一方面是存储设备引入了国产自主知识产权的光电磁存储一体化设备实现了安全低碳的目标，另一方面是 NAS 迁移过程中提升了诸多量化特性指标。

采用光电磁一体化存储解决方案，可以将常年不用的历史数据划归为“冷”数据，近期需要频繁访问的数据归为“热”数据，然后充分利用不同存储介质的特性，充分实现能耗友好，具备如上图所述优势（可信，低碳，长效，安全）：

在迁移方面，对新的NAS存储的性能、安全系数、容量以及容灾特性尤为看重，数据迁移是一个不可忽视的点。

（1）迁移效率提升。传统方式迁移数据量大，迁移时间长。此次总分配量为81T，数据使用量53T，为保证较短的业务停机时间，在全量数据同步期间，业务系统正常运行，避免对业务运行造成影响，全量迁移采用低速同步，全量迁移时间会较长。迁移使用低速同步，迁移任务可随时暂停，对业务系统造成的风险可控。

针对迁移数据量大，迁移时间长的风险，迁移工具接管原有NAS存储后开始后做数据后端在线同步，同步过程中记录数据变化量，工具通过对比元数据变化量，预估数据变化的周期性，在数据变化量低的时间段进行停机的增量同步，大大降低业务切换停机时间。

（2）可靠性提升。迁移时间跨度较大。全量数据同步完成到增量数据同步开始之间的时间跨度较大，增量数据随时间增长而增加，导致业务停机配合时间会随之延长。

NAS迁移任务执行期间，根据时间跨度来灵活调整不停机增量同步的次数，以此降低业务停机配合时间，风险可控。

（3）业务可用性提升。传统迁移方式业务切换需停机。保证业务数据的完整性，在执行后一次增量数据同步前，需要业务系统停机配合，保证原始数据处于静止状态下，进行增量完全同步。

把控好业务停机窗口，讲业务切换时间调整至停机窗口进行，风险可控。

（4）迁移数据准确性提升。迁移数据的完整性和准确性是NAS迁移的又一大难点，迁移前后的文件系统权限是否变化，继承权限等均是可能NAS迁移失败的原因。

本次数据迁移采用官方数据迁移工具，配合脚本检测，多次设置文件系统不同权限场景下的迁移，迁移数据的准确性和可用性均通过测试，数据准确性得到保障。

（5）数据一致性提升。本次新购NAS存储采用了同城NAS异步复制的部署方式，保障但存储故障的数据保障，避免单存储故障导致的也无不可用，尽量缩短同步周期，减少双存储的数据不一致性。

四、技术实现特点及优势

（一）深度融合：融会贯通，提升数据服务效率

● 闪存的融合：具备融合SSD存储和HDD存储双重优势的能力，可在混合场景下充分发挥出不同类型介质的性能，提供块及文件的 多种SSD加速方式(SSD缓存，智能分级)，达到性能和容量的理想收益。支持与不同类型、不同档次、不同代次的闪存实现互联互通；从数据、管理、运维实现多层维度的闪存融合。

● SAN与NAS的融合：可提供SAN和NAS两种服务，满足业务弹性发展需求，提升存储资源利用率，并有效地降低TCO 。SAN服务与NAS服务由底层存储资源池直接提供，缩短了存储资源的访问路径，从而保 证两种服务(SAN与NAS)的性能、功能业界领先。

● 存储资源池的融合： 通过内置异构虚拟化功能，能高效接管其它主流厂商存储阵列，并整合成统一的资源池，消除数据孤岛，资源可统一管理，自动化&服务编排；同时，还可以实现第三方设备迁移0中断，迁移操作工具化自动完成，耗时平均缩短60%。

● 多数据中心的融合：提供免网关SAN与NAS一体化双活方案实现跨数据中心的业务永续；支持从双活数据中心平滑升级到3DC ， 提供两地三中心级别的业务连续性；可实现64:1的多级DC，提供数据集中容灾与保障。

● 云的融合： 提供存储混合云解决方案，通过云上云下资源协同和数据流动，实现私有云和公有云间的数据容灾，助力企业存储服务平滑向云化转型。

（二）稳定可靠：从产品到方案实现 99.9999% 高可用

● 芯片级可靠设计： 四种芯片(控制器CPU、南桥、网卡、SAS控制器)多合一，减少故障点，并通过模块级错误恢复、ECC等RAS技术保障CPU可靠性；SSD芯片结合磨损均衡和华为专利的反磨损均衡算法提升SSD盘片的可靠性；智能BMC管理芯片实现对CPU、内存等部件的综合管控，故障恢复时间从2小时缩短到10分钟。

● 多控制器负载均衡：提供多个控制器间负载均衡技术，消除单点故障，实现系统高可用，保护业务稳定在线。

● 独有的数据快速恢复技术：采用创新的块级虚拟化技术，  1TB 数据重构时间从10个小时降低到 30 分钟，与传统存储相比，因硬盘故障引起的数据失效风险降低95%。

● 丰富的数据保护方案： Hyper系列数据保护特性包含快照、克隆、一体化备份、远程复制等数据保护技术，可以实现用户系统内、本地、异地以及多地的数据保护方案，实现 99.9999% 的可用性，大程度保障用户业务连续性和数据可用性。

● 领先的SAN与NAS一体化双活保护： 支持SAN与 NAS一体化双活，确保数据库与文件业务同时高可用。凭借HyperMetro A-A双  活，存储系统间可实现负载均衡的双活镜像以及无中断的跨站点接管，保障用户关键应用数据零丢失，业务零中断，让用户的核心应用系统不受宕机困扰。同时采用免网关设计可有效降低用户购置成本和部署复杂度，单套设备可平滑升级到双活，并能进一步扩展至两地三中心解决方案。

（三）卓越性能：满足企业业务的性能弹性增长需求

● 面向闪存的存储架构：采用面向闪存的系统架构，基于闪存融合技术在智能CPU多核优化、资源调度算法、cache自适应算法以及IO智能调度等闪存优化设计，确保存储系统处理大量业务访问时依然能够提供 稳定低于1ms的I/O快速响应，保证用户关键应用的卓越性能体验。

● 匹配闪存设计的领先规格：处理器，控制器之间采用RDMA技术高速互联，支持32Gbps FC/100Gbps Ethernet等主机接口；后端采用NVMe over Fabric ( 100Gbps) /SAS 3.0 ( 12Gbps)高速接口，满足高性能、高带宽应用场景所需。

● 灵活的扩展性：可线性扩展系统资源，能够平滑扩展至大16个控制器、12TB缓存，满足用户未来业务高速增长的数据需求，帮助用户提升收益。同时可利用多个控制器并发加速同一主机业务，消除单控制器性能瓶颈，实现性能加倍。

● 全面效率提升方案： 提供Smart系列增值功能， 包括SSD缓存，数据分级(包括块和文件级)、服务质量控制、缓存分区、自动精简配置、文件配额等多样的效率提升方案，应用效率大幅度提升。

● 智能管理：通过AI改造管理。

● 智能运维管理：智能远程监控，存储云端7*24主动监控和远程维护，自动巡检，分钟级感知故障，自动报障并建单；智能故障诊断，主机到存储端到端的路径可视化和性能关联分析，实现故障自动定位。

● 智能预测与评估：智能风险预测，基于硬盘/配置/容量/性能等多维度的分析预测，提前识别系统风险；智能业务规划，主机业务负载特征分析和系统容量预测，提前规划系统性能和容量需求。

1、级联设计

系统支持两种级联硬盘框协议标准， SAS3.0标准接口可级联SAS协议硬盘框，而通过自研RDMA 100G高速协议可级联智能硬盘框，可卸载硬盘框内的硬盘管理和硬盘读写 IO处理，释放控制框的CPU处理压力。

2、多控 Scale-out

全新系统双控内采用自研RDMA高速总线背板互联设计，后端采用SAS 3.0技术或100G RDMA技术连接硬盘框，通过高频处理器所带来的高速通道和强劲的计算能力，灵活满足客户越来越高的性能需求。

系统多控ScaleOut时采用自研RDMA高速总线互联架构设计实现横向扩展。控制框间的业务交换通道由多个自研25Gb RDMA接口承载。系统大支持8个控制框，每个控制框包含2个控制器，整个系统大支持16个控制器。 每个控制器分别通过两个互为冗余的交换通道与系统中其它控制器进行互连实现数据转发。

采用交换组网多个控制框之间通过100G RDMA高速通信协议连接到两个冗余的数据交 换机DSW ( Data Switch)中，在DSW中实现数据交换，此种集群大支持到16个控制器；采用直连组网，每控4个25G RDMA高速端口分别连接到另外一个控制框的两个控制器，此种集群组网大支持到4个控制器。由于交换链路采用双链路设计，保证集 群数据交换网络的冗余性。采用交换组网可以为以后集群的扩展到16控预留空间，更适合将来的集群弹性扩展，而采用直连组网后续无法在线扩展到更多控制器。

3、硬件全冗余

系统所有组件与通道均为全冗余设计，无单点故障，各组件与通道均可独立完成故障检测、修复和隔离，确保系统稳定运行。

4、门卫式数据加密(国内适用)

门卫式数据加密特性，由存储系统、门卫式加密机、密钥管理中心( KMC ，Key Management Center)三个部件组成。门卫式加密机实现商密加解密算法和数据流程，存储系统负责加密数据的存储，密钥管理中心负责加密密钥的管理和生命周期控制。

存储系统端软件采用专用操作系统，实现硬件管理和支撑存储业务软件的运行。存储系统通过基本功能控制软件实现基础的数据存储和读写功能；通过增值 功能控制软件实现各种备份、容灾和性能调优等高级功能；通过管理功能控制软件实 现对存储系统的管理功能。

5、SAN/NAS 一体化

系统采用SAN/NAS一体化设计，不再需要NAS网关设备，一套软硬件 同时支持SAN和NAS，支持NFS 、CIFS 、FTP 、HTTP等文件访问协议，以及NDMP文件备份协议。 NAS与SAN一样，同样支持16控的Scale-out，主机可以从任意1个控制器上的前端主机端口访问任意1个LUN或文件系统。

统一存储的系统融合平台架构如下图，文件系统和LUN是平行的出在  Space子系统之上，下面是基于RAID2.0+的块虚拟化存储池子系统。在这个架构中，文件系统和LUN都直接与底层的Space子系统交互。文件系统架构是基于对象的，每个文件或文件夹是一个对象，每个文件系统是由对象组成的对象集。对于LUN来说，LUN分Thin LUN和传统的Thick LUN。两种LUN也都来自于Pool和Space系统，并没有建立在文件系统之上。这样简化的软件栈带来的存储效率比传统的统一存储架构效率要高，同时LUN和文件系统各自保持独立，互不影响。

6、负载均衡

默认情况下，OceanStor 存储系统自动将不同LUN/FS均衡分配到不同控制器，LUN空间通过RAID2.0+块级虚拟化技术均衡打散到系统内所有硬盘。

如果主机到存储阵列的每个控制器都有I/O路径，华为自研多路径软件UltraPath会优选 LUN归属控制器的路径下发；如果没有优选路径，则IO下发到阵列后，系统会自动判断对应LUN业务应由哪个控制器处理，通过Smart Matrix智能矩阵将IO转发到对应控制器进行处理。

通过将LUN均衡分配给不同控制器及LUN空间在全局范围均衡分布，使得不同控制器业务、硬盘压力相对均衡，配合华为自研多路径UltraPath选择优路径下发IO，使系统性能达到了优。

7、面向闪存的系统优化

SSD盘优势在于随机IO性能好，时延低，劣势在与擦写次数有限；而HDD优势在于顺序IO性能好，无擦写次数限制。系统对SSD盘与SSD/HDD混合存储进 行了针对性优化，以达到更好的性能和可靠性。

在多线程运行效率上，通过数据结构的合理设计，避免多线程并发访问CPU L1 Cache一个缓存单位(Cacheline)上的数据，消除CPU L1 Cache伪共享的问题，极大提升CPU L1 Cache利用效率，减小数据内存访问的CPU开销。

五、项目过程管理

湖北农信于2022年11月启动NAS存储迁移及应用项目，2023年2月完成需求分析，2023年4月完成项目详细设计、功能测试、性能测试，2023年5月完成迁移测试、容灾测试及上线准备，2023年6月完成投产运行。

六、运营情况

项目迁移过程中几乎对业务没有影响，迁移数据完整性，迁移速率以及迁移的终切换达到测试的预期效果，通过迁移完成后新存储大大提升生产效率，详细提升如下：

（一）读写速率提升。设备方面，新NAS存储配置了固态硬盘，且对比原NAS存储单控制器读写速率，其峰值分别为750M/S和210M/S，整体读写速率提升约3.5倍。

（二）新增容灾功能。原有NAS存储存在单点风险，新NAS存储通过茶港和光谷数据中心之间的2条冗余波分线路连接，实现两台NAS之间的远程异步数据复制，完善了业务连续性容灾架构。实现双中心互为主备的容灾功能配置。

（三）容量配置提升。共享文件数据分配总量约为78T，原NAS可用容量为81T，新NAS可用容量为138T，使用率由96.2%降低至56.5%。网络接入架构由原2口千兆改为4口万兆聚合，网络带宽提升一个数量级，线路冗余程度提高一倍。新NAS在可用性上极大缓解了这11套业务系统的使用压力。

（四）业务连续性提升。原NAS存储共享功能配置存在局限，控制器出现故障后，另外控制器无法接管共享服务，需要手动切换。新NAS存储接入同一网络区域的控制器之间采用A-A（双active）互备的工作模式，当任一个控制器出现硬件故障或业务网络中断时，存储系统会自动将业务地址切换到另一个活动的控制器上，切换时间控制在5秒以内，对前端业务系统可以做到无感知。

七、项目成效

经济效益或社会效益

（1）降低存储成本：光电磁存储一体化设备具有高密度、高可扩展性和高可用性等特点，可以帮助湖北农信降低存储空间的占用成本。此外，兼容原有NAS还可以通过分布式存储技术，实现数据的备份和冗余，降低数据丢失的风险。

（2）优化IT架构：通过将存储和计算分离，升级后的NAS可以帮助湖北农信优化IT架构，这有助于降低IT建设和维护成本，并提高系统的灵活性和可扩展性。

（3）提高金融服务效率：通过迁移到NAS，湖北农信可以获得更高效的数据存储和处理能力，这将使各项金融服务（如贷款审批、账户查询等）的响应速度得到提高，从而提高客户满意度。

（4）提升数据安全性：本项目引入了国产化的光电磁一体化存储设备，使得湖北农信可以在数据传输和存储过程中实现加密和完整性校验，从而降低数据泄露和损坏的风险，安全可靠、自主可控。

（5）促进绿色环保：相比传统存储设备，光电磁一体化存储设备的能耗更低，可以帮助湖北农信通过冷数据的冷存储方式实现节能减排，在满足业务需求的同时，为环保事业做出贡献。

八、经验总结

本项目在湖北农信的成功落地，通过提高金融服务效率、数据安全性、灾备能力和环保水平，同时降低存储成本、提高存储效率、优化IT架构并创造商业机会，使得金融机构可以在不断变化的市场环境中保持竞争优势并为客户提供更好的服务。项目对于NAS存储更新迭代过程中的国产化、安全，快速，可靠，绿色低碳以及前端无感知的迁移的方法及过程管理均具备借鉴意义。