案例背景

农信银是为全国农村中小金融机构提供资金清算服务的全国性专业特许清算组织，现已覆盖全国近 8 万家农村信用社、农商银行、农村合作银行、村镇银行等农村中小金融机构网点。

2018 年全国农村中小金融机构全面落实人民银行“断直连”工作要求，通过农信银支付清算系统“一点接入”网联办公网络支付业务，随着农村地区网络支付业务快速增长，叠加节假日金融支付交易高峰等暴增的交易量冲击，农信银对事中系统的运维支撑体系也提出了更高的要求，如实时监控、故障预警、快速定位、监控实时交易量波动等，既要保证监控的实时性，又要尽量避免对业务系统的干扰。

系统监控需要的数据有很多种类型，APM技术需要做插码，对业务系统代码有侵入性，金融机构对其使用较为谨慎。而旁路抓包、日志分析等因对业务系统运行没有干扰，数据丰富，成为农信银业务运维支撑的关键。

因此，农信银计划构建覆盖全机构业务系统的实时日志分析平台，通过日志分析加强业务运维支撑能力。

项目痛点

日志来源众多，农信银有数十个核心业务系统，这还未包括网络设备、安全设备、中间件等基础架构产生的日志。

日志体量大，以2018年双十一为例，农信银支付清算系统当天共处理交易5312万笔，交易金额近300亿元，交易峰值达到4018笔／秒，一天产生的日志数据量以TB计。

以往对日志数据的使用存在以下难题：

（1）没有对日志做集中管理。日志搜索需要逐台登陆服务器，使用脚本程序或命令行进行，难度大，还容易导致误操作。

（2）日志利用率低。日志多用于事后分析，没有实时监控及分析手段，大批量的日志经常被当作无用数据删除。

（3）日志管理难度大。传统的数据库、Hadoop 等管理手段，无法满足海量非结构化日志的管理需求，缺乏高效的日志管理工具。

项目方案

农信银与日志易合作，将分散的日志统一采集、集中管理，为企业建立统一的智能日志中心 ：

采集环节：缓存队列保证了数据的完整性，并能确保业务性能不因日志采集受到影响。在数据入库时，智能日志中心可将企业常见日志自动解析，为确保用户数据的私密性，数据脱敏及结构化清洗也会在入库前完成。各种日志自动化解析工具即插即用，大大提升了日志解析的便捷度。

分析环节：采用日志易自主研发的日志搜索分析引擎Beaver，检索及数据处理速度快，同时提供了灵活强大的搜索处理语言SPL（Search Processing Language），能够实现全文、逻辑运算等高级搜索功能和关联分析，灵活满足复杂的业务场景需要。

展示环节：提供了数十种常用的统计图表，及态势感知大屏，能快速根据分析结果展示业务系统运行状态，并配置告警系统，对突发异常及时告警处理。

部署环节：采用分布式可灵活扩展的架构，在数据量出现突出增长时，可以快速扩展系统节点，保障系统运行稳定；同时支持物理机和虚拟机混合部署，充分保证数据安全性 ；根据企业服务器资源、数据量、系统稳定性等因素可以自定义日志中心各个模块的节点组成。

此外，平台提供API，可以方便地将数据提供给其它运维分析工具，大程度地实现数据的复用。

案例应用实践及效果

农信银支付清算系统覆盖全国8万家农村中小金融机构的业务网点，其所提供的金融服务惠及近10亿农村地区用户。这套智能日志分析平台的上线，将大大加强其业务运维支撑保障能力，助其为数万成员机构及广大农村用户提供稳定高效、优质的金融服务。具体改进之处体现在三个方面：

（一）效率提升

1.ESB 耗时分析场景效率提升：

ESB 耗时分析效率提升 30 倍。在安装日志分析系统平台之前，客户需要平均花 5 分钟左右的时间去查询所有机器并手动计算时间。安装日志分析平台后，查询 1 笔交易耗时仅需 10 秒，而且有相同 msgId 的报文也可以一次全部查询出来，这给运维组节省了大量时间。同时，日志分析平台还能对耗时进行排序和差异化体现，方便识别交易耗时较长的环节，从而定位问题。

2.秒级展现TPS 交易量以及实时波动曲线：

实时展现提升 60 倍。之前只能从数据库中获取数据，数据展现延迟达 1 分钟之久。通过日志分析平台的实时日志接入及统计计算，数据展现时间缩短至 1s。

3.异常感知：

异常感知效率提升 10 倍。异常感知时间从以往的 5 分钟左右，降低到 30s，即能在 30s 内完成日志获取、发送、结构化分析、存储、检索、可视化等。

4.熔断信息查询：

熔断信息查询定位效率提升数倍。由以往的人工确认变为机器自动感知，时间缩短至 60s 内，即能在 60s 内精准定位成员行是否被熔断、熔断时间、熔断时长及熔断恢复时间。

（二）方便故障排查 

故障排查更方便，效率提升 10 倍以上。

1.应答系统出现问题场景：

发送行有大量的请求报文，中心机构没有进行应答，ESB_Tranlog 模型只有大量的请求耗时，此时中心应答系统出现问题。

2.接收行未响应场景：

接收行一直未响应中心行请求，导致第二阶段请求一直在增加。此时接收行的 ESB 系统存在问题。

在安装日志分析系统平台之前，查询新的交易是否存在问题，需分别登录到各集群服务器，查看新的交易报文是否完整。一般故障查询时间需花费 10 分钟以上。

安装日志分析平台后，可全文检索新的 10 条 msgId，然后使用该 msgId 放到 ESB_Tranlog 模型中，如果交易正常，即可正常显示 4 条报文和交易耗时信息，如果交易异常，数据则会显示异常。该验证 1 分钟之内基本可以完成。日志分析平台上线以来，已成功帮助客户处理多次故障问题。

（三）改进用户体验，提升团队协作效率

日志易将客户关心的 KPI 指标，投放到指挥室大屏幕上，如交易量信息、成员行熔断信息等。不同岗位人员及管理者通过大屏实时查看重要信息，一目了然，同时团队协作沟通效率大大提高。

图为农信银运维支撑团队指挥室大屏效果