一、项目背景及目标

1.项目背景

随着我行从传统IT架构往分布式微服务架构转型，复杂单体应用被拆分为多个轻量级服务，开发、迭代、交付的效率得到很大提升的同时，系统数量越来越多，系统间的交互越来越复杂，大大增加了运维监控的难度和成本。同时我行还有分散于各日志存储服务器的1448TB的历史日志，日常查询、管理都存在困难。

在完整的信息系统中，日志数据是运维数据的重要组成部分，记录了系统的运行情况、用户访问行为、应用异常信息等。当前日志数据是监管检查、运维分析的主要手段。外部监管、稽核等部门对我局的日志管理、合规检查审计提出了明确的要求。运维分析方面，数据中心同样对应用故障的日志监控、故障分析有迫切的需求。

为能够更好的利用文本类非结构化数据，深入了解应用系统运行情况，建设发现系统问题、挖掘价值数据、增强监控等能力体系，提升日志数据的金融服务能力，增强系统问题定位及发现手段，形成以应用系统日志集中调度管控为导向，以应用系统日志关联分析为中心，以应用系统日志价值数据发现为目标的系统运维理念，同时达到日常运维与系统隔离，实现数据中心日志管理水平提升和日志管理合规化、系统化、透明化、标准化，构建开放式、一站式的统一日志分析平台，为系统基础运维提供必备的工具支撑。

2.项目目标

建设一套基于国产鲲鹏芯片，麒麟操作系统，达梦数据库和日志检索和管理引擎，建设了国产自研的信创统一日志分析平台。

一期项目实施包含核心业务系统、柜面综合业务系统、对公集中上收平台、二三类核心、大总账系统、ECIF系统、理财平台、二代支付、网联平台、综合支付、电话银行、网上银行、手机银行、银联前置、中间业务平台、微信银行、微信小程序、学校缴费系统、爽爽办公系统、电票系统、零售信贷系统、对公信贷系统、验印系统、农村金融服务系统、统一回单打印系统、国库集中支付电子化系统、投行系统、OA系统等合计50余套。

终目标是实现统应用日志的集中管理，满足监管审计要求。实现日志数据的近线存储，快速归档，满足多样化的日志采集及归档需求。实现敏感信息、异常登录、操作风险的检查分析，满足合规检查需求。实现应用故障的辅助监控与统计分析，辅助业务指标、系统性能指标分析，实现与集中监控系统、运维分析等系统对接。

项目实施完成后，显著提高我局应用及系统日志集中管理及分析能力，满足合规审计及快速运维要求。

二、创新点

基于国产鲲鹏芯片，麒麟操作系统，达梦数据库和日志易Beaver引擎，建设成了国产自研的信创统一日志分析平台。

利用大数据人工智能技术，引入算法模型，对日志数据进行模式学习，列表化呈现日志经过聚类后的模式和占比，实现非人工干预的智能告警。

三、项目技术方案

本日志平台系统有多个模块构成，其服务器资源、数据量、系统稳定性等因素综合考虑评估，配置如下:

平台整体架构如下图：

1.消息系统(kafka)

日志平台采用分布式消息系统连接各个模块，消息系统也起到缓存的作用。

2.日志处理系统(logriver)

日志处理系统能够根据配置的规则抽取日志关键字段，将非结构化的日志转换成结构化数据。抽取关键字段的好处是可以对关键字段进行统计分析。将对关键字段及原始日志进行索引，可对关键字段及原始日志进行搜索。

已经配置了常见日志的解析规则，对于没有预先配置解析规则的日志，可通过后台或Web页面配置解析规则，抽取关键字段。即使没有抽取关键字段，仍然可以通过全文检索搜索日志。

日志易在日志做索引之前抽取关键字段，提高了检索的速度。

3.日志检索和分析引擎

对日志的关键字段及全文做索引，以时间维度将日志存为多个索引文件，方便自由决定保留多长时间的日志。索引文件采用分布式存储，并且有副本，保障高可用。

对于没有在日志处理系统中抽取关键字段的信息，在日志检索系统中，依然可以通过事后提取的方式完成即时的字段统计分析工作。

另外，日志检索系统也支持对不同来源的日志做关联分析。

Splserver:为了提供更加丰富和灵活的查询统计和分析功能，日志平台设计了独特的 SPL(Search Processing Language) 语法。搜索统计模块 SPLServer 承担了对 SPL 的语法解析和任务调度工作。

其中，SPL 语法指令又分为流式指令和集中式指令。流式指令部分，SPLServer 在解析之后，可以自动分发到 Beaver 存储组件上分布式执行。集中式指令则在 SPLServer 本地执行。

SPLServer 上负责进行两类任务的调度工作。一类是查询层级，SPLServer 会自动对所有的 SPL 查询进行基于时间的分片，并对分片后的子任务进行公平轮询调度，以尽量保证不同用户的查询都能得到应有的响应。避免主流开源方案中一个大范围查询挂起全集群的现象。此外，SPLServer 可以根据用户需要，将特定场景(如海量分组数据精准统计)的查询，自动转换为 Flink 任务，分发给 Flink 集群执行。避免主流开源方案中对海量分组统计的结果误差和 OutOfMemory 故障现象。

另一类是结果处理层级，SPLServer 负责日志平台所有需要后台离线执行的查询任务的执行计划调度。包括：离线任务、下载任务、定时任务、告警任务、报表任务等。

Beaver:Beaver 存储引擎是日志平台的核心技术所在。在吸取了 Lucene 开源社区多年积累经验的基础上，针对日志数据的特点，采用 C++ 语言自主开发了 Beaver 索引存储组件。和主流开源方案相比，在日志分析场景上，提供了诸多功能和性能上的优势

4.前台服务系统(web/ngnix)

进行日志展现、数据可视化，支持各种统计功能及图表展现，实现流畅的图形用户交互。

5.权限管理系统(auth)

支持基于角色的权限管理系统，并通过日志产生的主机、应用、标签三个维度对日志进行来源分组，不同的用户赋予查看不同日志、并基于可见日志范围进行解析、分析、告警等操作的权限。

6.RESTful API

一些功能通过RESTful API，主要是考虑系统可扩展性，开放给必要系统或用户做二次开发。

四、项目过程管理

五、运营情况

信创统一日志分析平台目前已在生产环境覆盖核心业务系统、柜面综合业务系统、对公集中上收平台、ESB、大总账系统、ECIF系统、理财平台、二代支付、网联平台、综合支付、电话银行、网上银行、手机银行、银联前置、中间业务平台、微信银行、微信小程序、官方网站、无纸化平台、个人客户身份核查系统、学校缴费系统、爽爽办公系统、短信平台、电票系统、零售信贷系统、对公信贷系统、加密平台、验印系统、农村金融服务系统、统一回单打印系统、国库集中支付电子化系统、投行系统、OA系统、财务系统等合计55套业务系统。

平台日新增日志约2TB，安装agent 265台，建设数据分析及统计仪表盘42套，监控告警312个，周期性报表14个。

自生产上线以来，系统稳定运行，触发告警约500条，告警准确率达93%以上。

平台使用用户数49个，活跃用户47个。

六、项目成效

1.提升故障定位效率，降低人力成本

通过建设信创统一日志分析平台，搭建以业务系统运营为核心的监控运维管理体系，及时准确的掌控业务系统运营状态，持续优化业务系统运行，降低故障发生频率，提升故障定位效率，降低人力成本的同时降低了由系统故障而产生的经济损失和社会影响。日志查询效率由原来的30分钟提升到了秒级响应，降低了80%由频繁登录终端导致的操作风险，同时故障定位时间由30-60分钟提升到了5分钟。

2.国产化引擎，助力降低硬件资源成本

信创统一日志分析平台，采用专门针对海量日志数据分析的日志易Beaver引擎。相比于常见的ELK开源技术栈，有效的提升了400%-500%的日志数据并发写入效率，查询性能提升了50%，统计性能提升了100%-200%。在同样性能的前提下，降低了30%-50%的硬件资源成本。

3.信创平台，确保安全自主可控

信创统一日志分析平台，是基于国产鲲鹏芯片，麒麟操作系统，达梦数据库和日志易Beaver引擎的国产自研平台，满足国家相关信创要求，同时也实现了整个平台完全的自主可控，确保了平台的运行安全性和稳定性。

4.金融电子化杂志社“2022中国金融科技年会暨第十三届金融科技应用创新奖”

信创统一日志分析平台作为渠道接入了我行运维团队共同搭建的“敏捷可观测数字化运维平台”荣获“数字化转型突出贡献奖”。

七、经验总结

1.平台建设阶段

平台部署适配达梦数据库及麒麟系统,根据异常信息追踪根因,分析并解决,并形成知识库、解决方案,用于相同问题的解决。

2.日志接入阶段

需要安装agent实时接入,测试对业务系统的影响,针对采集程序使用的性能(cpu/io/内存)实时监控及使用趋势变化分析,完成agent安装的相关审批工作。

3.日志场景建设阶段

建设完系统基础指标(交易量、耗时、交易/系统成功率)后,根据各业务系统痛点个性化建设告警及可视化展示,系统异常时能够及时响应,快速分析问题根因、解决问题。