项目背景及目标

我行亦庄生产数据中心原设计方案满足我行5年发展需求，现已运行多年，设备老化，扩容不便，已无法满足当前业务发展的需求，面临较大的风险与挑战：

1、机房综合布线系统扩展性不足，网络端口接入能力已将使用殆尽，新的服务器接入需求已无法满足。

2、现有千兆骨干与千兆接入的带宽容量，难以满足当前数据备份及云计算、大数据等新技术对于网络高带宽的需求。

3、当前设备使用时间较久，老化故障率逐步增高，给网络运行与业务连续性带来了更大挑战。

4、业务不能快速部署，缺少自动化运维能力。

5、当前机房网络架构已经很难满足灵活部署需求。

为解决数据中心现有网络问题与挑战，在满足监管要求与安全需求的前提下，使用SDN技术搭建新的网络架构，满足未来业务发展需求。主要实现包括以下几个目标：

 1、骨干网络40G+与接入网络10G的带宽架构设计。

2、结合内外安全防护区别，建设内网资源池。

3、内网资源池整合目前数据中心业务一区、业务二区、业务三区。

项目方案

架构设计要点：

1、根据监管机构要求以及行内安全方面需要，设计各区域流量相互独立，跨区域流量必须经过防火墙过滤，同时考虑网络整体规划及未来的发展，各区域使用相同架构，降低网络复杂性，方便统一管理。

2、SDN将网络设备上的控制权分离出来，由集中的控制器管理，用户可以自定义任何想实现的网络路由和传输规则策略，使业务变动及更新更加快速灵活和智能的部署。

详细架构设计：

1、采用两台Cisco Nexus 9508作为SPINE层交换机，采用六台Cisco Nexus 93180YC做为Border Leaf，每两台为1对，分别为业务一区、业务二区和业务三区提供连接防火墙，以及负载均衡设备的服务。

2、整体采用Leaf/Spine拓扑结构，每台Leaf交换机通过40GE端口分别上连两台Spine交换机。

3、三台思科APIC连接到业务一区、业务二区、业务三区的Border Leaf上，部署为集群模式用于集中策略管理。

路由设计要点：

1、数据中心DC Core同ACI分区的防火墙（3对）之间“口”字型互联，相互之间运行静态路由协议。

2、DC Core将去往业务一区、业务二区、业务三区的业务网段地址，通过段静态路由的方式指向到各自分区的防火墙VIP地址。

3、各分区边界防火墙使用静态路由协议，指默认路由到DC Core交换机之间的HSRP VIP地址。

4、各分区Border Leaf与边界防火墙之间使用VPC的方式交叉互联，相互之间运行静态路由协议。

5、Border Leaf使用静态路由协议，指默认路由到边界防火墙的VIP地址。各分区边界防火墙通过段静态路由的方式，将去本分区的业务网段地址，指向到本分区Border Leaf部署的L3 Out（FW）的Secondary IP 。

6、业务二区和业务三区部署负载均衡器（SLB），为服务器提供负载均衡服务。业务二区和业务三区的服务器网关部署在负载均衡器（SLB）上。

7、Border Leaf与负载均衡器（SLB）之间运行静态路由协议。各分区负载均衡器（SLB）使用静态路由协议，指默认路由到各自分区Border Leaf部署的L3 Out（SLB） 的Secondary IP。

项目创新点

SDN网络的核心思想是将控制与转发分离，通过集中控制实现网络连接、集中控制、资源调度等功能，同时支持通过统一的接口对网络直接进行编程控制。

1、本次项目设计3台SDN控制器，通过集中控制来实现网络资源全局视图调配以及优化，达到网络设备的集中运维和管控。通过统一视图实现对网络架构的统一查看，简化配置、管理和优化。

2、SDN将网络设备控制面与数据转发面解耦，构建开放灵活的网络体系结构，通过软件自动化代替手动编排，实现网络自服务化，使网络自动地动态响应所有应用的业务需求。

3、SDN可以改变传统网络下应用与网络紧耦合的“烟囱”式架构，提升网络资源池化水平，使得网络资源和计算资源更加紧密的联系起来，实现有效的控制。

4、SDN网络较传统网络拥有更快的故障修复率，链路、节点等故障都能实现快速修复。能够快速的聚合网络资源，实现平均分配，对一些网络行为可进行预测。

5、控制和转发平面分离的设计可以保证设备平滑的升级而不中断业务。

技术实现特点

 1、SDN对网络、安全和网络服务自动化实现应用级集中式控制。在物理、虚拟和云基础架构上提供通用的策略和管理框架。

2、以应用为中心的基础架构满足应用定义网络的要求，这个基础架构简化、优化并加速应用部署的整个生命周期。思科应用策略基础架构控制器（APIC）提供了一个针对矩阵的自动化和管理、策略编程、应用部署和健康监控的统一管理点。APIC使得网络管理员可以轻松地为应用定义佳网络。数据中心操作员可以清楚地看到应用使用网络资源的方式，轻松地隔离和解决应用和基础设施问题，并监控和描述资源使用类型。

    3、思科 APIC 专为实现自动化、可编程性和集中式管理而设计，它通过 XML 和 JSON 提供北向 API。它提供命令行界面 (CLI) 和 GUI，这两个界面都使用 API 来全面管理阵列。此外，该系统还提供开源南向 API，可让第三方网络服务供应商通过思科 APIC 对所提供的设备实施策略控制。

4、颠覆旧有运维模式，在传统的运维过程中，开发人员先会提出一系列的应用需求，然后由网络管理员转换为具体的网络配置，这个过程中由于开发人员不清楚网络结构、网络运维不清楚应用架构，所以很容易造成沟通障碍，严重影响应用的敏捷、可靠部署。而在Cisco ACI框架中，颠覆旧有的网络运维模式，将网络语言直接转化在应用逻辑之中，由应用指导网络行为，无需再配置任何网络设备，只需要通过控制器或者北向的应用就可以简单的完成应用网络环境的搭建。

项目过程管理

本次项目在2018年3月份立项启动，经过前期周密的调研，组织了多次技术交流，终形成项目方案。SDN内网资源池于7月25日开始上架实施，具体完成如下实施工作：

完成SDN区域实施计划；

完成SDN区域实施方案；

完成SDN区域设备上架及布线工作；

完成SDN区域设备配置及版本升级工作；

完成SDN区域设备测试工作；

完成SDN区域割接上线工作。

整体实施周期为6个月，共计260人／天，SDN区域于2018年9月5日割接上线

相关文档包括：

《北京农商银行SDN网络技术交流方案》

《北京农商银行SDN业务区网络设计方案》

《北京农商银行SDN区域网络测试方案》

《北京农行银行SDN区域网络测试报告》

《北京农商银行SDN区域汇报文档》

《北京农商银行SDN区域ACI网络与青云服务器测试报告》

《北京农商银行ACI网络日常运维手册V1.0》

运营情况

在传统数据中心网络环境下，新应用上线所需的WEB、APP和DB部署多达50余个步骤，耗时近两周。依托SDN技术的新网络方案助力实现应用全流程自动部署，网络服务自动编排，计算和网络资源就绪时间缩短到分钟级别，大大提高了应用上线周期，尤其对于互联网应用产品更新迭代快的特点，能够更好的提高用户体验。目前已经在SDN网络中的青云环境中部署了业务，上线方便快捷，运行比较稳定。

项目成效

SDN网络不仅能大幅度减少设备的采购、集成、互操作和运维升级的成本，还能在标准化、规模化后提升网络资源的利用率，降低数据中心的建设和运营成本。

1、SDN为网络的使用、控制以及如何创收提供了更多的灵活性。

2、SDN加快了新业务引入的速度。网络运营商可以通过可控的软件部署相关功能，而不必像以前那样等待某个设备供应商在其转配置自动化，加快应用上线速度。

3、SDN降低了网络的运营费用，降低了出错率和故障率。SDN控制器集中控制，支持丰富的北向接口和脚本语言，可实现配置自动化部署。运维可视化，提升运维效率，支撑运维转型。

4、SDN有助于实现网络的虚拟化，从而实现了网络的计算和存储资源的整合，终使得只要通过一些简单的软件工具组合，就能实现对整个网络的控制和管理。

    5、IT资源池化，提升资源利用率。依托SDN技术实现多个逻辑网络分区资源的灵活调整，提升计算资源和网络接入资源的利用率。

经验总结

SDN作为新IT的代表性技术，代表了网络的发展趋势，可以很好地满足银行业务创新带来的灵活性要求。当然，作为一项新的技术，SDN还有很多方面需要优化，需要银行业IT工作者共同交流和探讨。项目实施过程中主要发现并解决了以下几个重要问题，可为以后项目实施提供技术和经验借鉴：

1、在SDN网络环境中，所有网络设备均是SDN网络交换机，SDN控制器无法识别NX-OS版本的leaf交换机，如果交换机出厂时预装NX-OS操作系统，解决方法是手动将NX-OS操作系统升级替换为ACI专用的操作系统。

2、SDN网络环境流量镜像，SDN网络环境支持流量镜像，在支持传统网络基于端口的镜像基础上，SDN网络环境中还支持基于EPG的流量镜像，流量镜像的源和目的可以是端口和EPG。支持本地流量镜像（流量的源和目的在同一台leaf交换机），同时也支持远程流量镜像（流量的源和目的分布在不同的leaf交换机），可以满足需要进行抓包定位解决的应用问题。

3、网管监控，SDN网络设备能够通过网络平台利用SNMP协议主动获取设备软硬件状态信息，也可以设置SDN网络设备主动发送trap信息，需要注意的是网管平台主动获取信息时需要使用正确的OID。

通过对SDN探索和积累，下一步计划解决SDN控制器与生产环境中云平台进行对接，通过云管理平台统一调度网络资源，实现对计算、存储和网络基础架构资源进行统一业务编排。

随着SDN技术的不断发展，SD-WAN也陆续有项目落地，SD-WAN解决了广域网的流量调度问题，提升了各个数据中心之间的资源利用率等问题，下一步SD-WAN可以作为一个研究和探索方向。

本文由2018年度农村金融科技创新优秀案例评选组委会授权发表，转载请注明出处和本文链接。