项目背景及目标

华青融天根据用户安全实践需要，利用大数据分析和安全情报等新技术，快速构建企业级的日志管理分析和处置平台。在海量日志数据中发现业务运营模型和规律，自动识别用户行为异常，实现交易风险控制，从而进行商业智能分析和业务预测。

EZAccur目标是：通过对广泛的数据源进行深层次的智能分析，对各类攻击行为、网络威胁产生深刻的洞察力，从而做出准确的反击或防御，帮助用户实现行为可视、业务分析预测、实时异常检测及风险管控等。

项目方案

（一）项目技术框架

（1）采用大数据架构

能够灵活兼容各种日志源文本格式，并且保证平台的性能高效且支持集群架构，保障平台稳定、数据冗余。

底层基于大数据架构Elasticsearch开发，通过文本索引的方式来提高日志文本的搜索效率，并且基于索引创建灵活的动态数据结构，不同于传统数据库系统，无需预先定义数据结构，且底层架构能实现负载均衡、集群、双机热备、直线扩容的场景需求。

（2）支持分析海量异构数据

包括RDBMS，NetFlow，Syslog，SNMP，LogFiles，HDFS，Streams等。

（3）图形界面定义框架采用先进的插件平台技术

预置了多种图形展示插件，包括柱状图、饼图、折线图、区域图、聚合表格、搜索表格、度量趋势、事件图、泳道图、雷达图、词云等丰富的统计图形。

可以通过简单的界面点选生成各种报表呈现样式，并通过组合报表生成仪表板，综合展示各种维度的统计信息。

（4）支持数据存储层面和标准数据接口层面的第三方接口对接

标准数据接口已提供标准的RESTFUL API接口，可根据系统自带的API接口按需获取对应的数据。数据存储层面支持与Hadoop分布式文件系统进行对接，能实现在相同Hadoop平台间的数据互通及直接读取数据的能力。

（5）满足技术延展性需求，支持与机器大数据融合

产品满足对多元数据进行集合、解析和分析，满足后期对应用日志场景分析或用户行为分析等需求的技术支撑。

通过多种先进性技术，保障应用日志管理分析系统建设的技术支撑，保证系统的高效、成熟稳定，同时也满足日后对技术延展性拓展。

（二）系统模块构成

华青融天EZAccur安全运营平台，是同时具备日志和流量监控两大关键能力的统一智能平台，具备多种日志、流量采集、范式化、关联分析与异常告警能力，目前平台系统模块如下：

（1）界面简洁，操作简便且功能定义清晰

平台界面清晰，具有指引功能，帮助用户在短时间内快速上手平台。

（2）平台具备冗余、集群、负载均衡架构

平台框架以大数据技术为基础，并有在多家股份制商业银行运用案例，日志处理量都在TB、甚至PB级。

支持基于大数据架构的日志采集与存储，满足平台运行的稳定及数据的冗余，支持集群架构及直线的扩展方案。

（3）支持日志智能范式化解析，满足多元数据的日志解析需求

日志通过机器学习和训练，智能解析日志格式以及生成对应解析规则，不仅缩短日志范式化的时间，大大降低用户的技术要求，而且降低人为范式化带来的数据噪音和重复工作，实现对日志范式化的全生命周期管理。

（4）支持图形化和多元条件的关联规则编写，满足图形化和复杂的规则编写需求

平台支持完全图形化的逻辑关系条件配置和规则编写，通过基础条件、过滤器和活动列表功能进行规则逻辑条件组合，实现安全场景规则条件设定。

（5）支持高效查询，满足对日志的快速搜索和定位的需求

平台支持通过google查询功能如下：

全文检索

短语查询

字段过滤

逻辑运算搜索

数值范围搜索

通配符搜索

简单正则表达式搜索

复杂逻辑表达式查询

上下文查询

条件跳转查询

（6）支持自定义仪表盘和大屏，并预置多种仪表盘模板，满足不同的场景分析需求

平台支持所见即所得的仪表盘编辑，实现可自定义的仪表盘和大屏配置，无需额外的定制开发。

另外，仪表盘自带包括柱状图、饼图、折线图、区域图、聚合表格、搜索表格、度量趋势、事件图、泳道图、雷达图等丰富的仪表盘模板，支持对安全日志进行数据分析。

实时动态发现性能瓶颈、潜在风险点；能提供用户自定义仪表盘和可配置化大屏，实时展现安全日志分析结果。

（7）支持对资产信息管理

满足对资产数据采集、更新，支持资产区域自定义；以资产指标维度对日志统计分析进行展现。

（8）平台自带自运维管理功能

平台具备自管理、维护功能，能有效监控平台各组件性能和负载指标，实现快速对平台的故障诊断，并且支持自定义日志保存周期。

平台自带图形化的自管理、维护功能，能对系统本身的模块进行维护，能有效监控平台各组件性能和负载指标展示及对系统服务的启停。

同时也支持自定义日志的保存周期配置，并且实施对平台自身性能进行监控和告警，及时发现平台的异常。

（9）支持个性化、自定义角色和权限的配置，满足对角色、功能、数据的权限细分需求

平台支持对用户、角色和权限进行管理，实现各角色和权限的自定义划分，确保数据访问控制得到保障，并且角色管理能以平台菜单和仪表盘为基础进行权限赋值，满足对权限集中管理平台集成（例如windows AD中的LDAP协议）。

（10）支持第三方接口的对接，满足数据的复用和拓展

平台支持标准数据接口提供标准的RESTFUL API接口，可根据系统自带的API接口读取或者转发到第三方平台。

创新点

通过建设该项目，可有效打破日志数据之间的竖井，提高日志运维的效率，有如下几点创新：

（1）实时采集，并集中存储分散在各服务器上的应用和交易日志，可进行长期保存，避免出现日志流失。

（2）通过关键字检索的方式，快速查询，聚焦到某笔出现故障的业务交易上，并可通过界面的关联跳转操作，把从A日志搜索的特征，带入到B日志中进行关联查询。

（3）通过关键字和频次的告警规则，实现基于日志的交易故障实时告警，对现有基础架构监控加交易流量监控的监控体系提供有益的补充。

（4）通过所见即所得的dashboard编辑，实现可自定义的统计图表展示。

（5）通过角色和权限的划分，确保数据访问性，保证各系统管理员只能看到自己系统相关的数据内容。

（6）界面操作简便，不仅可以提供给运维团队使用，也可提供给科技开发人员使用。

技术实现特点

（一）系统架构

平台采用B/S架构设计，其内部架构设计如上图，主要包括了几个模块：数据采集功能、数据流式处理模块、数据存储模块、数据分析模块、数据展示模式。

（1）数据采集

负责各类型的日志采集（主动采集方式、被动接受方式）。

（2）数据流式处理

负责大量日志数据的结构化处理，以及资源相互协调。

（3）数据存储

对数据进行分布式存储、日志归档。

（4）日志分析

提供海量数据的分布式搜索引擎，为用户提供准实时的搜索服务。

（5）数据可视化

提供简洁日志呈现的交互方式，如：仪表盘、报表。

（三）技术实现特点

（1）全量数据内容解析

在全量采集多元数据的基础上，采用词义智能识别和解析技术，对日志和网络流量内容自动全量解析和匹配佳实践，识别率可达92%以上，有效避免对原始数据内容不识别和人为定义的噪音和困扰。

（2）用户行为分析技术

采用用户特征提取、行为模型引擎技术，描绘人或实体的特征画像，并从多个维度建立监控对象种群模型，分析实时用户和实体行为数据，实现离群数据和种群跃迁的自动发现。

（3）分布式关联分析引擎

采用逻辑关联、统计关联和场景关联技术，具备对日志和流量数据实时关联和历史关联分析预警能力，结合安全情报、资产、脆弱性和用户行为分析数据智能发现更高威胁事件和场景。

（4）大数据技术

基于大数据架构融合日志、流量和第三方多元数据，支持TB级别的海量异构日志源的采集、提取和存储。

（5）机器学习技术

利用行为分析引擎和异常判定算法，从行为轮廓、罕见分析、对照分析和预测分析等维度对数据建模，发现异常风险的用户、机器（IP），预算威胁评分。

项目过程管理

（一）实施计划

实施划分为如下四个阶段：

（二）实施团队构成

为了保证项目的成功实施，华青融天希望能够充分发挥自身优势，从组织、实施以及技术服务等各方面入手进行管理，保证项目的质量及有秩序、按时、顺利的完成；所有参与项目实施人员至少有2个项目以上实施部署经验；项目经理有4个以上项目交付部署经验；

运营情况

渤海银行推广应用情况，可参考下面招行和民生的总结性材料推广应用、系统运行情况

在企业的IT系统建设中，科技风险已成为信息化刚需，是企业IT风险性能的重要保障。其中，华青融天是国内同时为四大股份制商业银行提供安全态势感知和运营管理解决方案的服务商。

2018年，成功助力渤海银行建设安全运营中心（SOC），帮助用户实现“态势可见、风险可知、事件可控、防控提升”的目标，并在风险感知、业务洞察、危险行为发现等方面具有多个成功落地解决方案。

（一）解决了客户在安全运营中多多处痛点：

（1）统一的日志存储，帮助项目运维人员*****时间定位日志；

（2）实时分析日志数据，多维度分析问题的报告；

（3）多维度的监控系统告警渠道，形成立体式告警机制；

（4）统一的日志出口，权限管制统一归结到运维人员手中，做到数据信息的零泄露；

（5）关联复杂的系统业务，快速定位故障源系统；

（6）大量潜在风险信息分析，做到根因分析、故障预测。

（二）在安全运营的过程中，完成了如下的成果：

覆盖渤海银行总行及滨海所有安全设备及服务器，有效收集20多类、1000多万台设备日志源，单台智能解析节点可以处理5万/秒笔异构日志，数据有效性99%以上，可实现全行安全态势感知。

定制开发、运维100+多条关联规则，满足渤海银行当前信息安全风险发现及预警。

全行平均每日2000+安全事件，有效处置率达到95%以上，安全响应时间达到分钟级；泄密事件回溯分析可精确定位责任人。

项目成效

近年来，很多企业陆续建设并投入使用包括IDS/IPS、防火墙、桌面防病毒、防病毒网关、垃圾邮件网关、堡垒机、漏洞扫描等多种内外部安全防御和审计设备。上述设备的引入均起到了一定的成效，同时也输出了大量的安全日志和事件，但绝大多数企业受攻击数量仍然呈上升趋势。

企业的安全运营需要更清楚和主动地了解攻击，并能采取有效地预防和更完善的处理流程，安全运营体系涉及人员、流程和工具等多个方面。

EZAccur贯穿安全事件收集、感知、分级、调查、响应和优化全生命周期管理，具备线性扩展和提供高性能搜索和可视化调查工具，并内置机器学习引擎，结合威胁情报和异常检测，使安全事件调查和处理机制智能化、可视化和流程化，有效提高企业安全运营效率。

实现安全数据化是成为生产力的起点，只有这样才能发挥安全运营中的数据处理、智能分析、机器学习等引擎的强大能力，通过数据层、引擎层、场景层、运营层的立体化平台模型，通过定制化、场景化、流程化、可视化的一体化安全运营能力，逐步实现从单一安全事件监控向整体安全态势感知和安全运营的转变，从被动安全事件处理转向主动可持续性安全运营监测分析转变。

经验总结

华青融天下一代安全运营NGSOC产品——EZAccur，可实时收集各种信息安全相关日志信息和网络流量，利用大数据技术进行数据清洗、集中存储和快速分析，基于规则关联分析安全事件，并通过机器学习识别异常行为，准确有效地评估安全风险，主动发现系统所面临的内、外部攻击及违规行为并实时告警。

其目标是：解决和改善客户在安全运营中所遇到的安全日志分析和管理问题，有效打破安全日志、系统日志、安全日志等数据之间的竖井，将基于系统的日志、流量，利用大数据、威胁情报、关联分析、机器学习和可视化等技术，建立一个智能的、联动的、立体的安全运营平台，全方位感知安全状况，实现事前信息安全事件预警、事中信息安全事件防控和事后信息安全事件定位溯源。

项目实施

华青融天（北京）股份软件有限公司