一、背景与挑战

背景：

随着信息化技术的发展，针对银行系统的网络攻击手段层出不穷。银行的网络安全防御设备、安全监控系统的数量和种类也相应增加。银行对信息系统网络安全风险的分析及管理变的越来越困难。信息化技术飞速发展的同时也带来很大的安全运维成本，现有网络安全运维管理方式已经面临诸多挑战和风险。因此，我行创新结合应用大数据、机器学习、关联分析等技术建设了网络安全数据智能关联分析平台，保障了海量数据处理与分析的实时性，提高已知威胁发现能力，实现了未知威胁的发现能力，提高威胁检测的准确度。

面临挑战：

传统的网络安全攻击识别和防御需要在各类网络安全设备中进行日志查阅，由于攻击方式的多样化以及同一攻击意图的攻击点往往跨越不同安全域，单一的网络安全系统提供的信息并不能持续满足有效分析的需要。以往我行各类运维系统和设备仅能管理自身数据信息，各种网络安全防护设备、监控系统、分析平台数据相对独立，逐渐形成了各个体量庞大的信息孤岛，深层次网络安全攻击的识别难度也在不断增大，网络安全MTTD(平均检测时间)、MTTA（平均分析时间）以及MTTR（平均响应时间）也越来越长，及时发现网络攻击情况需投入大量人力在不同的设备和系统上反复排查确认，无法应对外部高频、多变的网络安全攻击。

在这种情况下，迫切需要应用技术改革实现自动化汇集海量网络安全相关数据源，在多种网络安全相关系统中对接包括网络扫描、网络攻击、拒绝服务攻击、僵尸网络、遍历行为、WEB攻击、木马后门、状态码返回异常、User-agent异常、多向量攻击、暴力破解、账号敏感操作、病毒木马、Windows主机安全、Linux主机安全、网络设备安全、邮件安全、VPN安全、AD域控安全、DNS安全、数据泄露、数据破坏、门禁安全、终端审计、用户行为审计、操作审计等方面的各类日志、流量、情报、告警等数据，并将多类威胁行为按照攻击意图进行关联分析，识别攻击链，及时有效地发现出安全隐患以及传播路径。以往我行采用网络安全风险监测的技术手段是通过传统日志SOC系统分析计算框架对日志进行预制正则匹配规则筛查计算，该框架对于处理文本数据具有一定的适用性，但在海量网络安全数据的场景下分析多维度、非结构化数据，日志SOC分析系统框架并不能适用。

二、项目架构设计思路

为解决以上问题，我行紧跟前沿技术趋势，通过采用关联分析技术，结合机器学习、大数据处理、运维自动化等方法于2020年建立了网络安全数据智能关联分析平台，构建贵阳银行的大数据安全分析，实现从安全运维走向安全运营,从安全被动维持到企业基础设施重构建设，到拥有事前预防、事中监测和告警、事后溯源追踪的能力。

项目部分方案说明如下：

网络架构示意图

1、网络安全数据智能关联分析平台网络结构按两地三中心结构进行部署。

2、网络安全数据智能关联分析平台接收网络设备、应用防火墙、入侵检测系统、入侵防御系统等日志，获取设备防护情况。

3、网络安全数据智能关联分析平台接收蜜罐检测设备日志，获取攻击者信息。

4、防病毒日志接入，获取终端病毒感染情况

5、网络安全数据智能关联分析平台对接堡垒机资产更新接口，同步IP、资产、中间件、责任人信息

6、态势感知对接邮件系统、贵阳银行办公系统发布告警、预警信息

7、网络安全数据智能关联分析平台对接防火墙封禁和解封接口，自动批量下达封禁/解封任务

项目架构示意图

三、创新点

平台对我行现有网络安全相关系统的自身数据进行了汇集联动。通过对网络安全数据智能关联分析技术的应用，在海量日志数据、情报信息、平台告警和网络流量等多种复杂得数据中实现对不同类型、不同环境的数据以优的方式进行汇总收敛，利用国产大数据分析软件，将大数据技术与安全分析能力结合。通过分布式存储技术汇聚安全数据源，形成海量数据池。利用平台实时计算框架，实现自定义威胁模型以及场景落地，采集了我行两地三中心机房的态势感知系统、威胁发现系统、抗DDos系统、应用防火墙、邮件安全网关、网络传输设备、流量回溯系统、入侵检测防御系统、防病毒系统、云桌面系统、网络准入系统、动环监控系统、负债均衡系统、运维审计系统、加解密平台等多个信息科技安全相关系统的数据信息，对数据信息进行结构化处理，再利用机器学习方法在结构化威胁建模形成进行智能关联分析。在实时TB级海量数据下处理并分析网络攻击行为、安全异常事件、未知威胁，大大提高了我行网络安全风险识别能力。

结合目前网络安全的分散难管理、威胁发现预警不及时、安全处置响应效率低等问题，项目基于海量的日志分析技术，构造了多元化、多层次的安全场景。比如安全关联分析场景、安全蜜罐检测溯源场景、威胁可视化场景、自动化封禁场景等，并与行内邮件系统、移动办公系统、资产管理系统、防火墙等多方设备进行交互，进行资产同步更新，及时安全预警，秒级封禁安全事件处置，提升了威胁感知能力、攻击溯源能力和安全处置效率。

四、技术实现特点

（一）项目的主要功能示例

网络安全数据智能关联分析平台（日志以及流量数据的采集、解析以及存储），在对各类型安全设备/系统的海量日志进行采集，解析后，在利用搜索引擎对海量数据的处理能力，提供数据快速检索，并通过SPL (Search Processing Language)引擎，以及流式处理引擎，提供了数据采集、数据解析、安全态势，威胁处置，资产管理，漏洞管理，规则管理，任务管理，情报管理等主要功能模块。针对我行内外部威胁进行检测、分析以及响应，并通过自动化的能力，减少发现/响应威胁的时间，提高安全运营效率。

1、安全数据采集：通过支持各类采集方式，如syslog/odbc/agent/snmp等，对各类数据源进行统一采集；

2、安全数据清洗解析：利用内置解析规则，根据日志易对不同安全数据的范式化标准，进行安全数据的清洗；

3、安全态势：通过可视化方式，将威胁分类、威胁告警列表、影响用户、威胁阶段、源地址TOP10、目的地址TOP10等情况，集中展示目前环境中的威胁概况；

4、威胁处置：展示触发威胁模型的告警，通过关联资产信息、漏洞信息以及情报信息，为安全人员提供追踪、分析依据。同时，可针对安全事件建立工单，指定处置流程，并可自动或一键联动安全设备/系统，对相关的实体进行响应（阻断IP地址或锁定账户）；

5、调查分析：主要以威胁告警作为入口，对威胁告警和异常事件（需要在配置中心进行配置）映射到时间轴，分析安全事件可能存在的关联性，同时，基于该威胁告警对攻击链路进行溯源分析；

6、资产管理：可以通过手动导入/导入CSV/日志提取/对接CMDB/对接其他第三方系统等方式获取资产信息，支持通过资产自动发现,对资产进行动态监控,并为威胁告警与漏洞管理提供资产信息；

7、漏洞管理：可灵活对接第三方漏洞扫描器，展示漏洞信息，关联资产信息，并基于威胁涉及到资产进行漏洞分析计算，将计算结果提供给威胁处置以及资产管理模块；

8、配置中心：提供基础过滤器、并将安全经验加以固化。为取证分析、调查分析以及漏洞命中、漏洞权重设置提供预定义；

9、规则管理：通过流式以及批处理计算框架，通过界面化规则配置方式，对实时数据以及历史数据进行聚合、关联、对比等自动分析，实现威胁建模；

10、情报管理：可通过自定义配置的方式，对接第三方威胁情报（开源威胁情报、商业威胁情报以及行业威胁情报），并与威胁告警、安全日志进行关联分析，丰富化告警/日志信息，及时识别和应对攻陷指标(IOC)，增强威胁和检测能力。

网络安全数据智能关联分析平台内部数据流程示意

（二）部分技术实现场景示例

1、日志解析场景

网络安全数据智能关联分析平台日均处理安全日志日均2亿条（约50G）。对安全数据进行标准化清洗解析：利用内置解析规则，将安全设备的原始日志进行安全数据的清洗，直观获取到时间、事件、源IP、目的IP四要素。

日志标准化解析示例

2、智能关联分析场景

根据标准解析的某字段，可自定义关联分析场景。比如入侵检测系统-应用防火墙、入侵检测系统-入侵防御系统、入侵检测系统-入侵防御系统-应用防火墙、应用防火墙-蜜罐、入侵检测系统多向量（同一IP对多个目的IP、同一IP对多个IP多种攻击类型）等场景，同时还能将资产以及责任人快速定位提升响应处置效率。展示部分关联告警场景示例。

部分关联分析告警示例

3、蜜罐检测溯源场景

蜜罐检测溯源场景可对检测到的高威胁IP地址进行溯源，能迅速查找威胁IP在行内相关设备的访问痕迹、地理位置以及攻击类型和安全设备响应动作等，提升了溯源工作能力。

溯源场景示例

2、数据可视化威胁预警场景

该场景可将行内产生的暴力破解、异常检测、病毒防护、威胁IP等进行集中展示，感知各防御条线的防护状态，并对接邮件系统、移动办公系统将威胁预警推送至相关责任人，及时知晓安全威胁进行处理。

可视化展示及安全预警示例

3、自动化/批量封禁场景

系统对已产生的告警和威胁进行“二次分析”，根据规则确定为较高威胁的攻击IP将由系统联动安全设备自动下达“二次封禁”任务对威胁IP进行封禁，处置时间可达到秒级，提升行内的安全事件响应处置能力，下达封禁任务之前系统会比对白名单列表，避免误报、错封等事件影响业务正常运行。

自动封禁场景示例

五、项目过程管理

项目于2020年3月启动，2020年3月至5月进行调研，2020年6月进行项目设计以及实施方案制定；6月进行测试至7月底完成项目日志接入、场景建设、系统交互等测试；8月开始迁移生产至10月完成生产环境的迁移。2020年11月系统上线运行测试，并同步开展问题处理工作。具体实施计划如下：

六、运营情况

项目结合纵深防御理念并采用关联分析、蜜罐溯源、数据可视化等技术，使用该系统在海量日志数据、情报信息、设备告警和网络流量等多种复杂的信息中实现了对不同类型数据的汇总关联分析。通过对数据的结构化处理和我行技术人员的网络安全攻防技术经验编制的关联分析威胁策略，可实时在TB级海量数据下处理并分析系统异常情况、网络攻击行为和未知威胁，有效提高了我行信息科技网络安全运行风险识别能力，通过联动处置拦截技术，实现在单点防御的基础上进行了二次自动封禁，将我行互联网业务系统网络安全防御关联处置响应时间和能力提升到秒级，现日均采集和处理我行网络安全数据2亿条(约50G)，在2020年全年处置拦截网络攻击780余万次，系统上线后运行平稳，有效提高了网络安全工作效率和效果。

七、经验总结

项目于2021年3月正式上线，从项目落地的角度来看，平台的建设难点在于智能分析模型的设计及应用。

智能分析模型的设计主要分为两的部分。

一是以发现已知威胁为导向，结合威胁情报和攻击链方式，从攻击方式的角度，挖掘攻击过程中，可能的各类数据，采用机器学习行为关联点形成威胁模型，将该威胁模型的关联关系落地在网络安全数据智能关联分析平台。涉及到基于 渗透测试人员积累的经验，研究攻击行为的分类以及各分类中具体的因果逻辑场景。

二是以发现未知威胁为导向，结合蜜罐技术手段，通过逆向行为分析算法模型，对数据进行逆向分析回溯，识别在时间线上有联动的行为，主要涉及到研究利用异常检测算法以及有监督算法，在个群基线差异对比、正常行为和异常行为的分类中的使用及效果。这种方法也需要采用机器学习中对群体行为计算、个群行为差异分析、个体历史统计差异分析的算法，其中包括时间序列异常算法,PCA降维算法,孤立森林算法。各类算法对网页恶意爬取信息、网站系统信息泄露、虚假注册等的差异进行分析与对比。通过一年多的研究和应用，平台应用分析算法对不同场景的准确度匹配，对各类场景进行有效匹配，建立了智能分析模型，大大提升了网络安全威胁的识别能力。特别是在海量数据中，构建高并发高吞吐的存储子系统，根据数据量横向扩展存储节点，同时数据在基于一定的标准格式下的灵活处理，包括结合各类结构化数据的解析与非结构化数据的映射结果复合使用，进行智能分析匹配。

项目建设的建议：

1、安全威胁模型设计与落定运行：需要结合内置的威胁模型信息，根据实际环境，调整模型逻辑以及基线，并确保威胁检测模型的精准度；

2、资产信息的融合与补全：定时将各类资产数据融合到资产中心，并实现对日志的信息补全；

3、漏洞自动闭环管理：自动实现与内部漏洞扫描器的对接，同时根据漏洞修复逻辑对漏洞状态实现自动变更，并进一步结合企业内部工单系统，推动漏洞的修复。

4、告警管理：环境中往往有较多误报干扰告警通道，导致误封禁影响业务运行。项目建设时应同步进行告警白名单的管理，规避误报而导致的业务连续性中断问题。

5、日志统一管理：项目建设时应考虑到采集日志的标准化解析以及命名的同意管理以及日志备份管理，避免项目建设时因日志命名以及解析标准不统一而导致项目实施难度增加。

项目下一步将对接权威第三方情报库、信誉库等接口，对威胁源进行实时预警、自动化处置、智能关联分析溯源，提升平台的威胁感知能力、威胁处置能力和攻击取证溯源能力。

八、项目成效

1、2020年贵阳大数据及网络安全精英对抗演练“安全卫士一等奖”。

该项目在“2020年贵阳大数据及网络安全精英对抗演练”得到有效应用，我行荣获“安全卫士一等奖”。“2020年贵阳大数据及网络安全精英对抗演练”由贵州省大数据安全领导小组办公室、贵州省网信办等单位联合举办，由贵州省公安厅等单位承办，于2020年12月1日启动，历时8天，演练攻击方汇集国内30余支***网络安全公司技术队伍参加，攻击方对贵州省3万多个重点网站安全漏洞进行挖掘、对贵州省21个行业的关键信息基础设施进行深度检测，其中，贵阳银行网上银行、手机银行等对互联网开放的业务系统接省省公安厅通知，作为了演练靶标。在演练中，我行网络安全技术人员应用 “网络安全数据智能关联分析平台”达到了预期效果，处置了演练攻击事件149个，拦截网络攻击21966次，使得我行未在演练中失守任何指标点，并按照要求提交演练组委会6份防守溯源报告，定位了攻击队伍，因此在该演练中我行荣获防守方 “安全卫士一等奖”表彰，具有较好的社会效益。

2、2021贵阳大数据及网络安全精英对抗演练“安全卫士二等奖”。

2021年5月，应贵州省公安厅要求，为提高应对突发网络安全事件的应急处置能力，提高网络安全防护水平。贵阳银行参加了“2021贵阳大数据及网络安全精英对抗演练”,该演练按照“精英汇聚、实网攻防、体系对抗、安全可控”的原则，以攻促防，以实战提升防守单位的网络安全防护意识、安全防护能力与安全管理水平，消除网络空间重大安全隐患为目的，是开局“十四五”新篇章，迎接建党100周年，深入贯彻国家网络安全战略、践行网络安全强国思想、加强地区网络安全综合防御体系的重要举措。演练的系统靶标包括全省15000多个政企单位网站和127家省、市重要单位的互联网系统。贵阳银行互联网系统作为重点靶标，以6倍的积分激励攻击队尝试突破。贵阳银行网络安全技术人员9*24小时进行防守应对和响应，采用了提前加固、网络拦截、流量审计、态势感知、蜜罐混淆等多种防御手段，协防联动、纵深防御，再通过“网络安全数据智能关联分析平台”对演练攻击行为实时阻断，对异常访问进行定向监控和识别，对攻击者进行溯源和追踪。9天的演练期间，贵阳银行互联网系统和防御体系均未失守，技术人员成功按照要求溯源了演练攻击数据，演练成绩名列全省前茅，贵阳银行荣获演练防守单位“安全卫士二等奖”。