一、项目背景

近年来云计算、大数据、人工智能、物联网、生物识别、虚拟现实等新技术不断涌现，其中云计算技术作为基础性、平台级技术创新，成为当前技术发展的主要潮流。国务院于2010年将云计算纳入战略性新兴产业规划并随“互联网+”行动加速推广，银保监会十三五规划也提出“十三五末期，面向互联网场景的主要信息系统尽可能迁移至云计算架构平台”的指导目标，吉林九台农村商业银行数据中心建设经过多年积累，已具备了相当的规模和成熟度，运维管理也围绕集中式架构形成了完整的体系。

但是IT发展依然遇到了诸多瓶颈、应用系统交付效率无法满足业务发展需求的困境，传统的集中式架构越来越不适应未来业务互联网化的需要，向敏捷、弹性的IT架构转型是未来IT发展的主要方向，SDN在满足云计算场景下资源动态迁移和业务变化的需求以适应新技术的发展趋势、提升科技支撑与引领能力，将业务应用系统“云化”；打造更为高效顺畅的业务系统支撑与安全运营平台，容器化技术必将是云时代不可或缺的技能之一，提供容器化安全防护与检测解决方案；同时需打造全系列安全体系，现有安全设备部署与网络架构紧耦合，导致安全设备部署很难进行弹性、无缝和平滑地扩容缩容和有效利用，面对不断增加的安全工具部署需求及流量爆炸式增长带来的安全挑战，现有部署架构已不能满足和适应未来灵活性需求，为打破现有架构的约束，需建设灵活、安全的对接平台，提供更多弹性和灵活性，满足个性化、差异化、全面的安全防控和检测需求成为了网络运维重点思考的问题。

二、项目方案

利用新华三的容器云、SDN网络技术路线，将计算、存储、网络等基础设施资源统一管理，同时设计灵活的安全架构与云平台对接，将成熟的防护硬件产品与安全威胁检测体系以安全资源池方式部署，解耦网络设备间、安全资源与网络架构间的关联，提高了网络和安全设备资源的利用率;支持基于业务的服务链的灵活定义。

1.主要功能以及功能架构图

本方案通过建设容器云并设计灵活的安全架构与容器云平台对接，部署成熟的防御、扫描、硬件产品与安全威胁检测体系，确保云基础架构安全,加速传统安全架构转型，促使本行金融网络架构向软件定义，自动化、弹性扩展方向发展，为现有新型应用提供底层支撑技术平台，通过容器化部署解决富Web时代应用变得越来越强大，也越来越复杂问题，同时完成集群部署、隔离环境、灰度发布以及动态扩容的需求，也为后续行内传统业务升级改造到微服务应用架构提供可靠的基座，灵活、安全、便捷的运维模式，为下一代银行分布式架构提供可落地的参考依据与规范，设计总体规划拓扑如下所示。

2.主要技术指标、路线

依据规范：《网上银行系统信息安全通用规范》（JR/T 0068—2012）。在网上银行系统的描述中，应根据应用系统、客户对象、数据敏感程度等划分安全域（5.4节）；应在网络边界对公共网络出口、与第三方机构网络联接出口、DMZ区域部署防火墙等访问控制设备，启用访问控制功能；应合理配置防火墙等网络安全设备，根据实际业务需求，制定合理的安全策略；

据文件要求与总体规划，本次容器云平台安全建设需满足以下要求：

（1）满足监管机构的区域隔离要求，进行多区域划分；

（2）提供高性能的网络环境，满足万兆高速传输需求；

（3）配置支持 SDN 技术的网络设备，满足未来业务扩展需求；

（4）新增安全资源池设备要支持虚拟化，通过逻辑隔离，复用设备，减少设备投入；

（5）容器网络和SDN网络相结合，大大提高了容器网络的安全性和灵活性；

（6）部署安全资源池，提供深度检测、全面防护、满足多种业务防护需求；

依据以上需求本行采用云计算、SDN、安全资源池等技术，使用SDN控制器与云平台的联动，集中下发网络策略，满足VPC等网络服务的敏捷交付，虚拟机网络策略随行等功能。将安全能力与SDN网络整合，实现安全管控能力的整体交付。

3.项目采取的技术方案

（1）部署SDN网络技术路线，SDN可实现对不同区域网络架构的整合，通过扁平化、逻辑网络架构，实现区域逻辑隔离及统一、自动化、软件化管理业务编排，网络服务层使用SNA Center先知网络中心纳管控制Border、Spine、Leaf自动组建EVPN+VxLAN SDN网络；为数据中心提供计算接入业务、网络业务、安全业务(对接三方安全设备)、IPv4/IPv6双栈与智能运维业务，安全资源池设备以链路聚合方式接入Spine,通过灵活VRF以及策略路由方式，灵活调度安全设备资源，计算资源层服务器接入Leaf,使用管理交换机组建独立带外管理网络，连接网络、安全、服务器虚拟化管理业务数据中心内部各业务区域以VPC隔离上送Spine设备，通过调度VRF路由方式经过防火墙安全资源池、负载安全资源池回传至Spine后终经过Leaf到达访问目的资源。

（2）容器化部署，容器网络方案基于Kubernetes CNI模型实现，提供Kubernetes Master和Node节点插件，在保留容器网络原有设计理念的前提下，使容器网络和SDN网络相结合，大大提高了容器网络的安全性和灵活性提供基于VXLAN的多租户网络隔离，提供容器、虚拟机、裸金属之间的二三层互访和统一的IP地址管理。基于Openstack标准，采用业界领先的微服务架构，将云管理平台常见的组件包括nova、cinder、neutron、glance、ironic以及PaaS层的服务组件封装在Docker容器中，并结合先进的分布式应用协调与集群管理工（Kubernetes）进行容器的调度与管理。在容器云平台的容器化部署，保证各组件相互隔离，单台容器故障，不会影响其他容器的业务，同时容器云也实现了容器的高可用策略，一旦容器故障，会立刻漂移重启，快速恢复业务。

如下图所示，通过云平台纳管整个业务区的所有裸金属服务器，再从裸金属服务器分配相应资源创建k8s集群，一个云平台可以管理多个独立的k8s集群。其中每个k8s集群的裸金属节点存在两种不同用途的物理网卡种：一种用于租户管理网与管理区管理网互通，一个用于应用对外提供服务的业务流量。

（3）部署安全资源池实现高可用及弹性扩展，可以针对安全设备运维和业务特点制定灵活的部署策略，我行安全资源池由两台或两台以上相同功能的安全设备组成，将各种软硬件的负载均衡或安全设备组合抽象成不同的服务资源池，如防火墙资源池、负载均衡资源池、IPS等，同一资源池提供相同的安全服务功能。安全资源池也可以随安全需求的增加进行扩展。通过SDN流量编排以及策略路由将不同业务流量引导给不同类型安全资源池，从而满足数据中心内各种业务访问模型。安全资源或资源池设备，通常采用链路聚合的方式进行部署。防火墙以及安全防护资源池池旁挂出口及SDN网关，基于通用、多维度的硬件的安全资源池防护部署，实现基础网络包括NAT转化、负载均衡；在线安全防护包括访问控制策略、入侵防御/恶意代码防范、流量控制、流量审计；风险管控等。

三、创新点

（1）成熟的开源技术，结合九台农商银行研发团队、平台厂商自主研发能力，提供自主可控，开放兼容的容器云平台，从而降低后续平台的维护、升级、演进的成本。

（2）传统架构，各网络区域安全设备需独立部署，新建区域需单独采购新的安全设备。安全资源无法复用，利用率低。考虑各个网络区域功能不同，业务流量不通，安全设备物理接口问题等，许多安全资源的都处于低利用率状态。

（3）通过多种安全管控措施及全面连续的安全防护体系，建设符合等保2.0要求的云平台，行内现有安全管控策略可复用到云平台，保证用户安全使用体验的一致性。

（4）SDN组网优势包括软硬结合，采用硬件Overlay方案提升方案的灵活性、全策略和多租户的支持，使网络互访安全可控，容器、虚机二层互通，虚拟机、裸金属、容器二层网络互通，运行在容器的应用可高效访问运行在虚拟机上的数据库。

（5）区别于传统网络将为不同分区单独配置一套安全设备及负载均衡设备，设备利用率低，运维管理复杂，通过安全资源池方式，统一建设一套性能强大、可扩展性良好的网络设备，为不同分区提供安全、应用加速等服务。

（6）高性能的网络环境，满足万兆高速传输需求。

（7）容器相对传统虚拟化实现了更高效的资源利用率、快速启动时间、持续交付和部署、更轻松的迁移、更轻松的维护与拓展等。由于容器不需要进行硬件虚拟以及运行完整操作系统等额外开销，容器对系统资源的利用率更高。无论是应用执行速度、内存损耗或者文件存储速度，都要比传统虚拟机技术更高效。因此，相比虚拟机技术，一个相同配置的主机，往往可以运行更多数量的应用；传统的虚拟机技术启动应用服务往往需要数分钟，而容器应用由于直接运行于宿主内核，无需启动完整的操作系统，因此可以做到秒级、甚至毫秒级的启动时间，大大的节约了开发、测试、部署的时间；使用容器可以通过定制应用镜像来实现持续集成、持续交付、部署。开发人员可以通过Dockerfile 来进行镜像构建，并结合持续集成(Continuous Integration) 系统进行集成测试，由于容器确保了执行环境的一致性，使得应用的迁移更加容易。

四、技术实现特点及优势

本方案涉及的SDN硬件设备、云管平台以及安全资源池设备均接入我行智能安全运营中心，通过对网络设备、安全设备、主机和应用系统日志进行全面的标准化处理，及时发现各种安全威胁、异常行为事件，为运维管理人员提供全局的视角，确保业务的不间断运营安全。使用深度威胁检测技术，对流量进行深度解析，发现流量中的恶意攻击，提供了全面的检测和预警的能力。基于大数据中心的数据，对用户进行分析，建模和学习，构建在不同场景中的正常状态并形成基线。实时监测用户当前行为，通过已经构建的规则模型、统计模型、机器学习模型和无监督的聚类分析。能做到多维高效的威胁发现、智能态势感知研判、及时发现用户、系统和设备存在的可疑行为，对正在发生的事件进行实时分析，及时发现可疑的安全威胁。

安全设备已实现资源池化, 将各类安全设备抽象为多个具有不同安全能力的资源池, 并根据具体业务规模横向扩展该资源池的规模, 满足不同客户的安全性能要求，未来计划建设安全运营管理平台（面向 SDN 对接, 适配 OpenStack）,向上为应用提供编程接口, 向下提供设备资源池化管理,东西向可适配不同的业务管理平台（如 OpenStack 云管理平台、 SDN 控制平台和客户定制的管理平台等）。 在内部, 从这些不同的接口的获得信息转化成标准的安全策略、资产库信息、日志告警, 并利用这些信息完成任务调度、智能决策和命令推送, 将以往需要人工完成或半自动完成的管理流程转换成了接近全自动化控制。

五、项目过程管理

2021年6月项目立项，经过架构设计、实施方案编制、设备选型与采购，2021年9月完成项目建设。

六、运营情况

2021年6月，九台农商银行正式启动了“SDN网络”项目建设，并于2021年9月顺利完成SDN网络上线。上线以来，系统运行平稳，通过图形化的方式简易呈现，方便业务的上线及后期的维护扩容。

SDN与云平台进行对接，实现网络服务的自动化，对流量路径、网络拥塞情况进行实时的自动化及感知，精确感知网络延时及丢包情况。同时对更换的备件等进行配置自动化下发，提升了运维效率。 

SDN的架构变化带来了网络运维变化，基于overlay的网络统一接入业务、管理、存储流量、消除基础网络的二层环路。在运维过程中，只需要通过图形化的界面，统一调度、维护网络中的业务数据，即可实现环路检测、路径探测、切换业务流等操作，运维方便快捷，降低传统网络维护中的成本以及提升网络运维效率。

七、项目成效

“互联网+”时代对金融信息服务提出更多的业务变化需求，产生了业务弹性伸缩、高并发高可用、需求变化快、快速创新、快速开发上线、快速迭代发布等传统架构难以支撑的需求。九台农商银行结合科技信息发展现状，不断学习研究SDN技术，融合SRE理念、AI智能、大数据等前沿技术，形成日志平台中心、APT攻击预警中心、安全大数据中心、智能安全运营中心、自动化编排中心五大功能中心，解决了传统网络安全防御检测手段不足、网络攻击告警发现不及时、不能做到实时处理等难题，真正实现从智能分析和研判到自动化处置安全事件、动态优化安全策略，以精细化管理助推精益运维服务，形成一体化的智能安全运营。相关研发及应用经验可为地方政府、银行、证券等行业的网络安全发展提供借鉴。

八、经验总结

在传统网络中，为了提供给用户安全、快速、稳定的网络服务，往往需要经过各种各样的业务节点及安全设备才能实现。传统安全架构以网络为中心，基于物理拓扑，通过手工配置多种策略，安全设备采用串接模式接入，这种安全架构看起来结构牺牲了架构灵活性，存在诸多问题，特别是无法适应新安全需求，一定程度上严重束缚了以应用为中心、个性化、主动式等的安全防护需求。总体来看，传统的安全架构存在如下问题和不足：

（1）安全架构与网络架构紧耦合。安全工具的部署严重依赖现有网络拓扑，新业务上线、扩容或业务发生变更时，需要手工调整整个转发路径下工具的策略，牵一发而动全身，无法满足业务快速迭代、变更的需求，无法为不同业务提供统一的差异化、个性化的安全策略。

（2）安全资源投入大，成本高。各网络区域安全设备需独立部署，新建区域需单独采购新的安全设备。

（3）安全资源无法复用，利用率低。考虑各个网络区域功能不同，业务流量不通，安全设备物理接口问题等，许多安全资源的都处于低利用率状态。

（4）安全资源难以池化，扩展性差。安全资源串接部署，流量均需要经过安全设备，不能基于具体业务需求提供差异化服务，随着业务的增长安全工具往往成为性能瓶颈，一旦出现性能不足，通常只能更换更高端的设备进行扩容。

为了解决传统安全架构的不足及问题，以及金融网络也逐步由传统的三层架构向SDN迁移和整合的趋势，我行决定进行网络架构SDN化建设。

SDN（Software Defined Network，软件定义网络）是一种新型网络创新架构，是网络虚拟化的一种实现方式。SDN方案通过扁平化、逻辑网络架构，实现区域逻辑隔离及统一、自动化、软件化管理。

控制平面和具体的网络设备解耦，是SDN重要的特点；网络安全资源池的虚拟化实现了网络区域的逻辑隔离及提高安全资源的利用率，同时安全资源池也可以随安全需求的增加进行扩展，降低了安全资源的投入及运维成本；SDN简易的图形化部署，降低传统网络维护中的成本以及提升网络运维效率。