一、项目方案

贵州农信新一代广域网承载网采用SR/SRv6技术来构建广域承载网，能够实现流量可视化，并能承载端到端的IPv4/IPv6业务及VPN的安全隔离；通过新一代承载网，实现数据中心与广域网解耦，广域网作为承载平台可进行多中心及全局网点的扩展接入，大幅提升管理及运维效率及资源利用率，同时降低成本及投入。

1.系统架构

新一代广域网承载网总体系统架构模型如下图：

网络层：网络为基础架构层，由位于多地多中心的分布式云数据中心，以及各地的分支机构构成。业务流量分为东西向和南北向两部分，DCI网络承载数据中心之间的东西向流量，WAN网络承载分行到总行的南北向（纵向）流量。

控制层：NCE是管理、控制和分析融合的网络自动化平台，聚焦业务自动化、运维自适应以及网络自治，支撑网络云化和数字化运营转型。NEC管理和控制系统能够实现物理网络与商业意图的有效连接，向下实现全局网络的集中管理、控制和分析，向上提供开放网络API 与IT 快速集成。

应用层：应用层是实现数字化运营转型的平台，包括传统的OSS、业务协同、大数据分析等，提供网络基础设施的资源呈现、策略管理、业务系统运营等，实现全网运营。

2.功能架构

本期规划：数据中心DC-CE不做Multi-CE改造，各接入分区不设置独立CE出口，DC-CE通过不同子接口接入骨干网，生产业务VPN、办公业务VPN；数据中心测试分区设置独立R&D-CE出口直连骨干网DC-PE测试VPN；

目标规划：数据中心运管业务分区、互联网接入分区、三方外联接入分区设置独立CE接入骨干网PE。总体架构图如下：

后续规划：数据中心三方外联接入分区、运管业务分区、互联网接入分区分别设置独立CE设备连接骨干网DC-PE对应的业务VPN，即分别接入第三方外联VPN、互联网业务VPN，多个VPN可以通过SRv6骨干网统一承载，并通过EVPN做业务隔离。

3.业务分类

本次广域承载网建设范围：一共83个行社（包含8个地州行社，6个贵阳行社，其中贵阳行社扁平化直连数据中心WAN-P，69个县行社），2个数据中心及办公大楼。

根据网络的现有业务情况和未来业务进行规划，将VPN划分为这几类：生产、办公、测试。

多VPN场景下VPN路由默认隔离，有互访必要时通过策略控制VPN间路由的导入。

备注：

（1）同一个VPN出于相关目的（如为了形成VPN FRR）可以设置不同的RD；

（2）在县行社PE至总行数据中心的业务场景中，地州行社PE仅做P节点。

4.部署架构

通过融合云骨干实现一网多业务承载，同时汇接地州/县行社、两地三中心/多数据中心，甚至是公有云，满足智能金融网络的业务需求：主要包括DCI业务、分支到数据中心、分支与分支之间、分支到公有云的业务需求

关键技术：

SDN & 承载技术：SRv6 EVPN、SRv6 Policy流量调优；

智能运维：iFit随流SLA检测、telemetry秒级采集、流量可视化、故障快速定界定位。

5.网络架构

基于面向未来的设计理念，构建业界领先、智简弹性的金融云骨干网。

由贵阳、贵安作为骨干网核心节点，由4台DC-P设备进行高速互连构建双中心互联核心，两个数据中心分别部署2台DC-PE用于本地数据中心的接入；

在贵阳观山湖主中心部署两台WAN-P，在贵安备中心部署一台WAN-P，用于汇聚各地州行社PE；贵阳本地6个行社采用扁平化组网，科技大楼和本地各行社分别部署两台行社PE，科技大楼通过本地链路与观山湖WAN-P1和WAN-P2直连；贵阳县行社PE分别连接观山湖WAN-P1和贵安WAN-P3；

其他地州行社采用非扁平化组网，各地州行社分别部署两台PE（兼做县行社上联P节点），通过3条广域链路分别接入观山湖和贵安机房的WAN-P节点，其中与贵阳观山湖WAN-P1和WAN-P2采用口字型互联；每县行社/行社部署XL-PE，通过2条广域网链路分别接入地州行社DZ-PE&P；

在贵阳观山湖和贵安机房分别选择其中一台DC-P兼做RR，用来反射骨干网区域路由，RR间冗余备份；贵阳观山湖和贵安数中心间的DC-P可通过自有波分设备和线路直接互连。

6.隧道规划

隧道类型：

隧道数量：

行社与数据中心间的隧道数量计算如下：PE间采用full-mesh方式建立policy隧道，假设存在3对PE节点（观山湖数据中心、贵安数据中心、科技大楼），每PE和远端每个PE各建4条隧道，远端83个行社，每个行社2台PE；隧道总数为：6（PE）*2（远端PE）*4（TE）*83*2（双向）=7968条

科技大楼与数据中心间的隧道数量计算如下：PE间采用full-mesh方式建立policy隧道，假设存在2对PE节点（观山湖数据中心、贵安数据中心），每PE和远端每个PE各建4条隧道，科技大楼2台PE；隧道总数为：4（PE）*2（远端PE）*4（TE）*2（双向）=64条

7.流量调度规划

全局采用统一的算路策略，以小开销值计算。

以数据中心与地州行社之间的互访为例，业务选路设计如下：

高优先级的生产业务绝对优先，按优先级顺序调整；如果出现流量越限的情况，以联通链路越限为例：

（1）优先调整测试业务到移动/电信；

（2）如果步骤1无法解除拥塞，再调整部分办公业务的权重，使部分办公业务的流量大部分走到移动的链路上，对单条业务来说，联通链路小承载1/16的流量；

（3）步骤2如果无法解除拥塞，会再调整部分办公业务到电信的链路，部分办公业务的路径为移动+电信；

（4）如果步骤3也无法解除拥塞，会再调整部分生产业务的权重，使部分生产业务的大部分流量走到移动链路，联通链路小承载1/16的流量；

如果步骤4也无法解除拥塞，会调整部分生产业务的路径为移动+电信；

出现运营商链路故障的情况:

（1）联通链路故障

生产业务优先级高，路径变为移动+电信；

办公业务路径变为移动+电信；

测试业务优先级低，路径变为移动/电信；

（2）移动链路故障

生产业务优先级高，路径变为联通+电信；

办公业务路径变为联通+电信；

测试业务路径不变；

（3）电信链路故障

电信链路为备份链路，三种业务路径不变；

8.可视化运维设计

NCE提供性能视图可直观展示设备状态信息，方便监控网元健康状态，及时发现异常并快速处理，保证网络的正常运行。

NCE在性能视图中提供各小区域，支持列表、曲线图、柱状图、饼图等方式直观展现设备状态、全网状态等。

NCE支持将需要关注的网络性能指标按照某种维度分类显示在不同页面中，方便监控设备状况。

NCE支持在性能拓扑上集成网元性能指标和告警信息，直观展示整个网络的网元情况和监控运行状态。

NCE支持在性能拓扑上集成链路性能指标和告警信息，直观展示整个网络的组网情况和监控运行状态。

常见性能监控指标：

二、创新点

贵州农信新一代承载网已于2022年3月底完成全省83家行社及两个同城数据中心的迁移割接工作，成功全国省级农信系统首家部署SRv6的银行，为金融业树立了科技创新的典范。实现了多级智能，流量调度。控制层面使用SR/SRv6-TE配合广域SDN控制器实现流量的智能调度，有效整合广域网资源，实现不同业务的差异化SLA服务保障；实现了行为识别，带宽保证。360度业务流量可视化，区分各种业务类型，对各业务带宽进行精确保障，SDN控制器可根据网络负载及链路质量实现流量自动调优，通过预先设定SLA多维路由算法策略，实现全网集中算路，路径自动优化，满足不同业务的带宽、时延、抖动等网络服务保障要求，让业务更稳定、更安全、更高效；实现了端到端安全隔离及IPv6/IPv4支持。

融合承载多类型业务，基于BGP EVPN技术实现各业务流量端到端安全保证，支持IPv6 VPN。通过“智能”承载网的建设，节省了基础网络投资，满足了银行后续业务自主创新和快速上线的要求，提升运维效率，降低了运维成本，提高了网络投资的带宽收益。符合“IPv6+AI+协议创新”的IPv6+的定义，满足云网融合的灵活组网、业务快速开通、按需服务、差异化保障等需求，简化网络运维、优化用户体验，真正开启了IPV6+时代。

三、技术实现特点

面向未来网络需求，下一代骨干网需具备扁平化架构，按需接入，容易扩容，网络协议简化，部署方便，网络可靠性高，流量调优提供SLA保障等要求。核心骨干采用双平面标准组网，按需连接到核心骨干，核心层提供大带宽，高速的同城和异地互联，设备和链路都是冗余架构，超核节点全网状。

下一代骨干网在架构上分为核心+接入两层架构，实现业务灵活接入，网络按需标准化部署：

1.核心层

大带宽、高速互连；

超级核心节点全网状；

新增核心可按带宽需求连接观山湖数据中心、贵安数据中心两核心；

2.接入层

通过不同角色的PE，实现业务的标准灵活接入；

地州/区县行社PE作为业务系统的接入点，为DC间、地州/区县-DC间提供访问服务和控制；

可按需扩展，满足未来业务灵活扩容；

位置可根据实际专线需要灵活部署；

主要架构要点：

整体方案从架构上划分为管理控制层和物理网络层；

管理控制层是NCE-IP控制器，对网络的进行管理分析和流量调优；

物理网络层由P\PE\RR各个网元组成，基于IPv6协议的骨干网络；

采用ISISv6协议，整网统一为Level 2区域打通underlay层基础路由；

采用单BGP AS部署，P设备兼做RR，PE和RR建立邻居，传递MP-BGPv4\v6业务层路由，打通overlay层面；

采用EVPN for IPv4\IPv6对不同业务\用户的逻辑隔离控制；

采用SRv6 Policy\SRv6 BE作为隧道承载技术，统一承载IPv4\IPv6业务；

NCE-IP纳管整个骨干网和基础网络间建立NetConf\BGP-LS\BGP SRv6 Policy\Telemetry通道，实现对骨干网业务的管理、分析、控制；

四、项目过程管理

*****阶段（2020年12月-2021年3月）：完成承载网SR-TE，SRV6技术交流；

第二阶段（2020年4月-2021年6月）：完成主流网络厂商SR-TE，SRV6技术验证性测试；

第三阶段（2020年7月-2021年8月）：完成承载网网络设备招标采购；

第四阶段（2020年9月-2021年11月）：完成承载网需求调研、方案设计、设备上架部署及联调测试；

第五阶段（2020年12月-2022年1月）：完成承载网试点行社迁移割接；

第六阶段（2022年2月-2022年3月）：完成承载网推广上线。

五、运营情况

自2022年3月底全省推广上线完成至今，承载网的运行稳定，有效支撑了我社OA系统，内网即时通信系统等大流量办公类应用的全省推广。一是由传统主备骨干广域网链路，升级为链路双活负载，骨干网络带宽利用率得到了极大的提升，如下图所示。

二是实现了差异化的带宽服务保障，按照业务优先级分类，重要生产业务优先于一般业务，一般生产业务优先于办公业务，在任何情况下，重要生产业务都是优先保障的，不会因为次优先级别的业务突发的大流量影响高优先级的业务访问。

三是业务的自动部署，采用传统的手工方法需要配置命令行，建立隧道，配置VRF实例等过程，不仅对运维人员有较高的能力要求，而且容易因为人为因素的配置错误，影响现网业务。基于NCE-IP SDN的VPN业务自动发放，简化了这个过程，大大提高了业务部署、开通的效率，同时降低了运维人员的能力要求。图形化，参数模板化的部署模式，无须记忆命令行多台设备配置，端到端可视化VPN发放。开通VPN业务，网管只需要通过简单的图形化操作过程，快速选择VPN的起点和终点设备，设置相应参数即可。

六、项目成效

一是显著提升专线带宽利用率。预计将省、地、县广域网链路带宽利用率提升40%，每年节约专线链路租用成本约300万。

二是自动化部署助力业务开通时间缩短到分钟级。通过SDN控制器实现业务端到端部署全自动化，减少配置工作量约70%以上，且通过控制器全网配置自动校对、自动下发将业务开通时间缩短到分钟级。

三是差异化的SLA服务质量保障实现关键业务高质量运行。通过全局网络视图合理规划网络资源、以及资源调配策略，识别关键业务流量，通过差异化的SLA服务质量保障策略，实现在多业务混合承载的场景下关键业务的高质量运行。

四是运维可视化，提升运维效率。利用SDN技术赋能，不仅提升了网络的可靠性、健壮性和扩展性，且通过“应用-逻辑-物理”三级网络拓扑可视，且通过强大的可编程能力打通北向接口，利用大数据AI算法，实现配置变更、事件监控、事件处置融合协同，变被动运维为主动运维，助力运维自主可控，保障系统稳定运行。

七、经验总结

一网多业务超融合，有效整合广域网资源。一张物理网络实现交易类、管理类、测试类不同业务逻辑承载的超融合架构，在保障生产交易类业务连续性的前提下实现业务接入的弹性可扩展。

一键部署，实现端到端业务部署自动化。全网通过SDN控制器实现配置模板分钟级端到端自动化下发，保障各虚拟专用网络（VPN）、SRV6业务隧道的一键部署。基于IP五元组，DSCP，VPN字段及应用报文特征等进行灵活定义，按照优选链路需求，带宽需求，应用质量需求等自定义应用策略模板，通过控制器实现一键下发相关配置，保障业务端到端分钟级开通。

流量自动调优，实现不同业务的差异化SLA服务保障。SDN控制器可根据网络负载及链路质量实现流量自动调优，通过预先设定SLA多维路由算法策略，实现全网集中算路，路径自动优化，满足不同业务的带宽、时延、抖动等网络服务保障要求，让业务更稳定、更安全、更高效。

激发每一兆带宽，降低专线租用成本。通过全场景智能调优，不同业务切片的差异化管理，负载均衡提升转发效率，激发每一兆带宽，预期将带宽利用率提升40%，每年节约线路租用成本约300万。 

智能运维，助力贵州农信运维自助可控。支持全网设备可视和统一纳管，以SDN控制器为核心，通过南向接口，利用网络遥感技术实现网络设备运行状态、网络流量等基础数据的实时采集、可视化展现和集成数据分析。通过北向接口利用强大的可编程能力与丰富的API接口与云平台、大数据运维监控平台等对接。构建自下而上的，以SDN控制器为核心的大数据分析监控平台，变被动运维为主动运维，助力我社运维自主可控，全面提升业务连续性保障。