一、项目背景

统一日志分析平台围绕用户的核心需求，日志集中管理与搜索分析，为用户提供一个日志集中统一管理平台，提供实时采集、实时搜索、关联分析、故障定位及监控告警、多维度数据分析统计和数据可视化等功能，帮助企业进行运维监控、线上业务实时监控、业务异常原因定位、业务日志数据统计分析、安全合规审计及数据挖掘。

二、项目目标

1.建立一个实时的业务日志集中分析平台

通过项目建设，建立一个业务日志实时的集中搜索、监控、分析平台，对分布在不同环境中的应用日志进行集中操作管理，实现统一管理、分权限操作和审计分析。

2.解决操作风险问题

通过日志管理平台进行批量操作管理，将用户、密码进行有效隔离，提高系统安全性。避免逐台登陆服务器的操作，从根本上解决人为误操作和遗忘操作的风险。

3.解决效率问题

通过项目建设，将定位故障时间大大缩短，极大提升运维人员效率，并且通过精准日志告警的设置，将被动运维转变为主动运维，降低操作员的劳动强度，大幅提高作业效率。

4.报表展现与运维人员行为审计

通过项目建设，实现日志信息全面统一管理，并能按照各部门需求呈现丰富的报表，实现运维人员操作行为审计和追溯，满足业务及管理需要。

三、项目方案

日志分析需要对日志数据进行采集后将非结构化的数据根据其字段含义进行结构化处理，将格式化的数据进行列式存储后，便于对日志数据进行检索查询分析。下图为统一日志分析平台功能架构图。

数据采集层：系统系统支持对操作系统日志、中间件日志、数据库数据、网络安全设备数据、性能指标、应用数据等各类数据进行采集。

数据处理层：可对各类数据分类结构化存储，并可以对数据及功能进行 RBAC 权限控制，同时提供 SPL 语言进行逻辑搜索。

功能展示层：可提供对各类数据进行各类条件检索、监控告警、数据可视化展示、报表等各类功能。

(一）仪表盘

用于可视化展示日志数据，方便用户快速了解业务运行情况，其中包括以下几方面：

1.柱状图和折线图

统一日志分析平台提供柱状图和折线图两种基本的图表类型。通过对查询结果进行可视化，用户可以快速直观地了解业务数据的变化趋势和分布情况。在仪表盘中使用这两种图表模式，可以直观展示各类指标在不同维度下的表现情况。

2.饼图和漏斗图

饼图和漏斗图通常用于展示各类业务指标占据整体的比例关系。比如，可以使用饼图来展示网站各类访问来源的占比情况，在漏斗图中则可以清晰地展示每个步骤的转化率。

3.热力图

热力图可以直观反映指标数据在不同维度下的密集程度，帮助用户快速找出数据的瓶颈和热点区域。在仪表盘中使用热力图，可以更直观的展示各维度下的指标数据变化情况。

4.表格和树状图

表格和树状图分别用于呈现各类指标数据的明细和层级关系。通过表格和树状图，用户可以查看特定的业务数据完整详情，如访问日志明细、用户活动记录等。

5.地图

地图可以方便地展示指标数据在空间维度上的分布情况，比如，可以使用地图来展示各地区的访问量、订单量或其他指标，同时也可以进行可视化分析，并进行业务趋势的预测。

除此之外，还支持仪表盘的参数化配置，可以按照个人需求灵活的配置界面大小、区域布局、样式和主题等，以定制适合自己的业务管理视图。

综上所述，统一日志分析平台的仪表盘功能可以帮助用户实现对业务数据的可视化展示和分析。无论是管理层还是业务人员，都可以通过仪表盘快速掌握业务运营情况，进而制定相应的业务决策和调整方案。

（二）告警

统一日志分析平台提供了告警功能，可以针对业务运行情况设定告警规则，实现异常情况的实时监测和及时处理，功能包括以下几个方面：

1.告警规则设定

用户可以根据业务需求，设置告警规则，规则支持多种变量、关键字查询、组合查询和时间周期等条件。例如，可以设置当某个接口错误率超过一定阈值、异步任务处理时间超时等告警规则，当满足告警条件时，系统会自动触发告警。

2.告警通知

告警通知支持邮件、短信等多种方式，可以将告警信息实时通知到相关的管理者和技术人员，以便及时处理异常问题。

3.告警数据分析

统一日志分析平台支持对告警数据进行分析和统计，包括触发次数、告警详细信息、告警趋势等，用户可以了解各个告警规则的触发情况、告警排行等，借此了解业务的运行情况。

4.告警日志查询

告警日志查询，支持按告警名称、告警类型、告警时间范围等多维度进行查询，可以清晰的展示告警的详细信息，包括触发条件、触发时间、触发数量等，方便用户追溯问题原因。

通过告警功能，用户可以快速准确的捕捉到业务运行的异常情况，及时的进行处理，保障业务的正常运行。同时，告警日志的分析和统计也可以帮助用户深入了解业务的运行情况和潜在问题，从而进行更准确的业务规划和调整。

（三）报表

统一日志分析平台的报表功能可以帮助用户对日志数据进行定制化分析和呈现，包括以下几个方面：

1.报表设计

用户可以根据业务需求，通过可视化的方式设计报表，包括选择数据源、设置报表格式、布局和样式等，支持多种数据可视化方式，如表格、图表、地图等。

2.报表导出

用户可以将设计好的报表导出为多种格式，包括PDF、Excel、Word等，同时支持将报表以链接形式发送至其他人员，方便他们查看和使用。

3. 报表数据来源

统一日志分析平台支持多种数据源，不仅可以使用自己的日志数据，也可以使用其他数据源，比如第三方API、数据库等。

4. 报表嵌入

用户可以将报表嵌入到自己的邮箱或者应用程序中，使用户可以直接从自己的应用程序中打开报表，在应用程序中使用操作报表，使用户使用更加高效和便捷。

5. 报表分析

用户可以基于报表对数据进行深度分析，发现异常数据和趋势，发现新的商机和机会等。通过更深入的数据分析，用户可以更好地了解业务运营情况，做出更准确地决策。

综上所述，统一日志分析平台的报表功能可以帮助用户对日志数据进行定制化分析和展示，包括报表设计和导出、数据来源多元化、嵌入自己应用程序、深入数据分析等特征，为用户提供具价值的数据。

（四）SPL搜索

SPL（Search Processing Language）搜索功能是统一日志分析平台的一项重要功能，它可以帮助用户快速地查找所需的日志数据。SPL支持各种复杂查询条件和关键字查询，包括以下几个方面：

1.查询条件设定

用户可以根据不同的需求，设置不同的查询条件，可以在查询条件中使用运算符、字符串匹配符、正则表达式等方式，实现多种组合查询，如AND、OR、NOT等。

2.关键字查询

SPL支持关键字搜索，可以搜索所有类型的日志数据，例如用户可以快速搜索某个IP地址、某个操作等信息，提高日志分析和搜索的效率。

3.数据可视化

SPL支持在查询结果中进行数据可视化，如将查询结果转换成柱状图、饼图、折线图等多种数据展示形式，这种可视化方式能够更加直观的展现数据，更好地帮助用户进行数据分析。

4.搜索历史记录

SPL支持搜索历史记录，用户可以查看之前的搜索记录并重新执行查询。

5.结果导出

SPL支持将查询结果导出，并支持多种方式，包括CSV、JSON、XML等，用户可以将结果导出到其他系统中使用。

统一日志分析平台的SPL搜索功能是非常强大的，它使我们能够快速的查询、分析、挖掘日志数据的联系，以及识别潜在问题和异常情况，优化系统性能，提高业务的可靠性和稳定性。

（五）字段提取

统一日志分析平台的字段提取功能可以帮助用户从日志数据中提取特定字段，以便更好地了解日志信息并进行分析。以下是其详细介绍：

1.操作简单

统一日志分析平台的字段提取功能使用简单，用户只需要在界面上添加提取规则，如输入正则表达式、指定分隔符等，就可以快速准确地提取所需字段。

2.多种提取模式

统一日志分析平台支持多种提取模式，如正则表达式、分隔符、自定义、kv正则、时间戳识别等，用户可以根据自己的需要选择。此外，该工具还支持提取各种类型的字段，如数字、IP地址、URL等。

3.可视化效果

提取出的字段可以在统一日志分析平台的可视化效果中展示，用户可以更直观地了解数据情况。同时，用户还可以通过自定义过滤器或搜索来快速定位所需的数据。

4.数据导出

提取出的字段可以保存为 CSV 或 JSON 格式的文件，以便后续数据分析和处理，比如导入 Excel 等其他分析工具。

统一日志分析平台的的字段提取功能可以帮助用户高效地提取日志数据中所需的字段，提高日志分析效率。

（六）分布式索引

1.支持分布式架构

日分布式索引功能可以对大规模的日志数据进行分布式索引、检索和分析。该功能使用分布式架构可以横向扩展，以处理非常大规模的日志数据集。

2.高效索引

分布式索引功能具有非常高效的索引技术，可以在进行查询时快速找到匹配的日志数据。该功能可创建索引和搜索非常大的日志，并支持实时索引。

3.高效搜索

分布式索引功能可以使用高级搜索和过滤功能来精细地确定需要的日志记录，包括范围过滤、时间过滤、文本搜索、字段匹配搜索等。用户可以使用结构化的查询语言来创建搜索查询。

4.数据分析

分布式索引功能不仅可以搜索日志数据，还可以分析它们，以便更好地理解相关数据。分析功能包括直方图、折线图、饼图等，可以通过可视化呈现的方式推动数据分析。

5.高度可扩展

分布式索引功能采用分布式架构和Beaver 存储引擎，因此可以无缝扩展存储和处理能力。该功能支持多个节点的部署，可以支持大规模PB级的日志数据集。

综上分布式索引功能具有高效的索引技术、精细的搜索、数据分析和高度可扩展性等特点。该功能可以帮助用户在海量的日志数据中快速找到所需信息，从而支持用户进行更高效、更准确的日志分析和数据挖掘。

（七）索引路由

1.索引管理

针对不同种类日志，其数据量大小、安保留存等级各不一致的情况，统一日志分析平台提供索引管理功能，用户可以预先定义几个有效留存时间和切分时间各不相同的索引，然后将不同种类的日志，依据一定的路由规则，导入到不同的索引中。

对于长期留存，但未必经常查询的数据，统一日志分析平台支持设置索引的冻结周期。超过冻结周期之外的数据，自动进入冷却状态。数据依然可读(速度更慢)，但不再可写。冷却状态的索引占用内存资源更少，有利于集群稳定性，建议配置。通常可设为 3-7 天的时长。

对于暂时无法预估数据接入规模，但统一日志分析平台集群规模已确定的情况，统一日志分析平台支持设置索引的留存大小。索引大小超标时，即使还没有超过有效时间，也会强制启动数据淘汰删除机制，以确保磁盘空间可用。

2.路由管理

默认情况下，统一日志分析平台采集的数据会自动写入yotta索引并供 SPL检索使用，整个流程不需要用户进行额外的配置操作。但如果数据预备拆分存储到多个自定义索引，或者转发给第三方系统时，则需要进行数据路由配置。

一条路由规则可以同时作用于索引和主题。

点击’设置'-'数据’菜单上的’路由配置'，进入路由管理界面。列表顶部可以点开高级过滤区域，对appname、tag、匹配规则等进行模糊过滤。

四、创新点

1.适配国产化架构

平台部署在ARM架构、麒麟操作系统的国产化环境。平台丰富且完善的外部接口保证了平台良好的扩展性，能够快速适配各种新型的国产资源，实现现有资源全覆盖，新资源快速适配，持续提升平台能力和价值。

2.高可用架构

平台采用分布式集群架构，分布式存储引擎支持副本机制不存在单点问题，后台管理页面可以动态在线添加节点到集群实现横向扩展，同时为了满足数据分析和监管要求可以对数据进行全量或增量备份，备份数据可以跨集群进行恢复，甚至在集群名称、节点数均不同的情况下仍然可以进行数据恢复。在后台服务管理中对各模块配置参数、服务启停提供了可视化操作，并可以对某一服务单独升级或整体进行大版本升级。

平台支持客户端所有设备、所有集群、所有组件的一键部署Agent。统一代理程序支持自动化批量部署及升级，代理程序启动后可以自动注册及纳管，无需人工干预。

3.高效的搜索引擎

搜索引擎是日志平台的核心技术所在，日志平台吸取了Lucene开源社区多年积累经验的基础上，针对日志数据的特点，采用C++语言自主开发了Beaver索引存储组件。和市场上主流开源方案相比，具有了诸多功能和性能上的优势，如下：

（1）纯实时索引检索引擎；

（2）内存原地检索不必耗费I/O；

（3）数据段支持内部并发写；

（4）单数据段更大，减少数据段数量；

（5）数据合并的规模小，正常情况下因数据合并产生的IO和CPU消耗很低；

（6）引擎会自动根据ssd，sata，nas不同级别存储完成热，温，冷索引迁移和控制；

（7）采用C++开发，性能优化可以做到****，内存使用完全可控。

4.多种采集方式的支持

采集技术涵盖代理和无代理方式。平台采用多种采集方式达到对主机、应用和数据库的监控，这些技术包括： 

（1）基于代理的采集：文件或目录、脚本、性能数据、BEATS、KAFKA等。

（2）基于标准协议的采集：PACKETBEAT、HTTP/HTTPS、Ping、SNMP、SSH、TELNET、JDBC、ODBC、S3、NTP、SNMPTrap、Syslog等。

（3）支持国产环境数据的采集：支持国产操作系统、中间件、达数据库等资源采集。平台丰富且完善的外部接口保证了平台良好的扩展性，能够快速适配各种新型的国产资源，实现现有资源全覆盖，新资源快速适配，持续提升平台能力和价值。

5.多样的数据结构化处理技术

（1）标准化数据处理：常见的标准的日志格式支持有Apache、Nginx、Syslog、Java、JSON等数据，能自动识别数据格式，平台自动提取日志的关键字段，将非结构化日志转化为结构化数据。

（2）常规日志处理：提供向导式解析规则配置，实现精准解析，利用解析组件如：正则匹配、KeyValue分解、url解码、时间戳识别、字典翻译、IP 地址库等相互组合以实现日志的解析处理。

6.低代码语言开发平台，灵活满足日常运维、安全场景实现

作为了提供更加丰富和灵活的查询和统计功能，日志平台设计了独特的SPL(Search Processing Language)语法。搜索统计模块SPLServer承担了对SPL的语法解析和任务调度工作，该语言能将存储在搜索引擎中的结构化数检索并计算。

五、技术实现特点及优势

统一日志分析平台系统架构主要由两个数据流转路径组成，一是数据存储流向，二是数据查询流向。

数据存储流向涉及组件：

Agent -> collector -> kafka -> logriver -> beaver

数据检索流向涉及组件：

Nginx -> yottaweb -> splserver -> beaver

统一日志分析平台采用分布式服务架构，由不同模块负责数据处理的不同阶段。各模块的数据流图如下：

六、项目过程管理

辽宁农信于2022年10月启动统一日志分析平台项目，进行项目前期规划沟通，包括：平台架构、设备选项、需求分析和实施范围。在11月完成了测试环境平台搭建，完成了操作系统、数据库、安全设备、网络设备、业务系统等日志接入分析和场景制作，为生产环境上线充分准备。12月确认平台新架构设计、申请网络策略，完成了生产环境完成统一日志分析平台的部署和配置优化，完成各区域代理Agent部署及功能验证。2023年1月对所有业务系统、操作系统、网路设备、安全设备、硬件设备等日志接入和主机审计场景和平台运行情况分析。2月-3月完成重要业务系统场景沟通及指标分析，包括支付系统、银行卡系统、核心系统、前置机等，并对关键系统进行监控指标收集配置。4月进行三方告警平台对接将重要告警推送至相关负责人，*****时间响应处理。对安全设备日志分析，完成仪表盘数据可视化展示和安全设备日志分析报告，定期完成安全事件申请工作。5月-至今，对其他业务系统场景分析，对接其他平台推送关键数据指标，平台运行稳定无异常。

实施周期，如下：

七、运营情况

统一日志分析平台选取围绕可靠性、安全性、可扩展性、可维护性和灵活性几个方面，打造一个高效、安全、稳定、可靠的统一日志分析平台稳健运行帮助完成日志管理和分析的效率和精度，为业务提供有力的支撑，帮助企业更好地了解系统运行和业务情况，从而优化业务决策、运营和快速响应故障处理。

八、项目成效

在国产化信创进程中新技术的应用和及时有效监控管理的，为后续IT资源国产化的工作提供了运维风险管控能力如下：

1.实现基础设施全覆盖

实现了对服务器、数据库、中间件、网络设备、安全设备、存储设备等基础设施的全覆盖。

2.实现了现有国产资源的全覆盖

目前已适配的国产资源包括：麒麟操作系统，华为和宏杉存储设备，东方通中间件，启明星辰、绿盟、华为和深信服安全设备。

3.实现基础监控数据多维度监控和可视化

支持各类基础设施性能数据（可用性、容量、性能）、日志文件、HTTP、KAFKA、SNMP、Syslog数据的监控。对监控数据以报表和视图的方式通过表格、曲线图、折线图、饼图、热力图、区域图、柱状图、桑基图等形式进行数据展示。

4.实现多种手段的实时通知

监控告警信息通过邮件、短信、基础监控平台等方式进行实时通知。

5.实现了数据结构化、数据检索及数据可视化展示

对原始数据进行标准化处理后，将原本没有含义的数据进行结构化，生成标准字段。通过数据检索功能查找关键字、***标识符等低频词元，高效查找，快速定位和读取原始日志内容，再对数据字段进行一系列指标运算统计分析，帮助运维人员加速故障分析、追踪和定位问题。

场景1：农信银网联系统日志分析

以农信银网联运行仪表盘为例。

在对农信银网联日志分析后，通过图1-3能够清晰看到系统运行的各项指标，包括：交易量、交易耗时、交易响应率、交易成功率、交易量趋势、各交易类型交易耗时、交易类型占比分析等。通过上述指标能够在交易异常时，发现交易量趋势呈下降趋势，交易响应率对比昨天同一时间节点降低，交易成功率降低、交易耗时增大等。在农信银网联与其他系统联动过程中我们也能发现其交易耗时是否高于平均值，是否有失败交易。

图1

图2

图3

在农信银网联系统-总览页面的交易耗时趋势上（图4），能看到一些耗时较高的时间节点，可以点击高点钻取到长耗时交易查询页面（图5）分析具体的长耗时交易原因。点击后会把时间戳节点带到输入项1的位置，左侧的长耗时叫查询表格会自动生产，再点击查询交易的MsgId就可以生成查看单笔交易的完整日志。还可以点击查看完整交易-事件列表中的某条日志左侧的标签“查看上下文”（图6），可以像文本编辑器一样查看原始日志（图7）。缩短了维护人员的查找日志的时间成本，进一步提高了生产人员的工作效率。

图4

图5

图6

图7

在农信银网联系统-总览页面上，能够看到统计的一些异常交易笔数（图3），可以点击钻取到异常交易分析页面（图8）分析具体的异常交易原因。通过点击（图8）中异常交易趋势的高点，后会把时间戳节点带到（图8）输入项1的位置，下面异常交易日志的表格会自动生产，再点击查询交易的MsgId就可以跳转到查看单笔交易的完整日志（图9）。通过上述方法可以帮助运维人员快速定位问题查找故障原因，提升生产效率。

图8

图9

统一日志分析平台的搜索功能，可以帮助我们进行快速统计分析异常交易信息，如图10，以及单笔交易接收和发送报文是否正常，如：图11。

图10

图11

统一日志分析平台上线后，更进一步提高运维人员的工作效率，查找问题关键信息定位更精准，保证了业务系统的稳定运行。

场景2：日志统一管理维护

以往的日志平台没法针对各类设备的日志进行采集，包括：服务器、网络设备、操作系统、应用系统的文本日志及二进制日志，以及不同协议、接口日志进行采集。对日志的后续管理维护、查询也增加了极大的困难。

大数据统一日志平台针对服务器、操作系统、应用系统等可以通过安装Agent方式来部署客户端，使用向导式的数据采集流程，支持各种类型的日志：任何基于文本类型的日志，无论来自服务器或是客户端，例如：Apache、Java、PHP、Tomcat、MySQL、syslog-ng、rsyslog、nxlog、路由器等网络设备的日志，都可以上传到大数据统一日志平台。日志集中管理：无需登录单台服务器或授权开发人员访问生产环境，所有日志都可通过大数据统一日志平台Web界面授权访问。

场景3：日志的监控和故障排查

问题描述：存在一些无法通过APM、BPM监控的业务场景。以及在故障排查过程中需要逐台登录服务器查看有问题的日志。

解决方法：利用大数据统一日志分析平台收集各应用系统中的业务日志并打印对应标签，将实时产生的日志捕获并存储在平台中。日志收集到平台后可以对业务系统下的关键字或者错误日志搜索，及时了解系统是否在问题，也可以建立相应的告警规则，对应用系统进行实时监控。

图 搜索功能

告警规则建立，见下图：

场景4：安全审计和事件管理

遇到的问题：常规的安全审计是通过堡垒机记录操作信息及录屏的方式来进行安全审计。

解决方法：大数据统一日志平台通过对系统中的登录日志进行分析，可以追踪登录操作的来源和时间，并对登录行为进行监控和审计。可以针对一些敏感账号和操作，设置特别的日志监控规则，以便管理员能够及时地发现和响应有关的异常登录行为。

场景5：业务运营和数据分析

遇到的问题：无法通过日志对现有业务系统运行情况进行分析。

解决方法：与系统负责人确认业务系统KPI关键指标，通过日志输出内容进行数据的标准化，构建指标分析逻辑，对数据可视化业务场景确认、阈值设定，完成业务运营和数据分析。

九、经验总结

1.项目设计阶段需要考虑项目范围、安全策略和数据可用性等方面。确定集成日志收集器、存储、分析和可视化的方案，以及确定哪些数据需要收集和存储，并确定如何查询和分析数据。

2.在统一日志分析平台的部署方案中，需明确系统架构以及如何分布日志存储和处理的节点。通过这些节点，可以实时收集系统中各组件的日志以及相关的性能指标数据。

3.针对不同组件的数据，可以在统一日志分析平台中定义不同的索引和查询条件，以便对日志进行分类和搜索。对于大型系统的日志数据，可以使用自定义格式来减小存储空间，并使用查询工具对日志进行搜索和过滤。

4.统一日志分析平台的可视化功能可以帮助管理员更直观地了解系统的运行状况，同时可以让用户自定义数据可视化视图和仪表板提高信息的可读性，从而使日志分析更加直观。

5.统一日志分析平台的报警功能可以帮助管理员迅速响应系统问题。可以使用统一日志分析平台内置的规则或定义异常检测规则，对系统的性能数据或特定事件进行监视，并使用基于时间或事件的电子邮件或短信等方式发送报警通知。

6.在统一日志分析平台使用过程中，需要对系统进行监控和维护。当统一日志分析平台的性能或可用性受到影响时，需要对系统进行诊断，并进行必要的服务和维护，以确保系统的稳定性。

总结，通过统一日志分析平台的实施，可以帮助企业管理人员更深入地了解其系统运行情况，从而发现和解决潜在的故障。同时，统一日志分析平台也可以提高整个系统的运行效率和可靠性。