项目背景及目标

随着监管要求的不断提升和我社业务的快速发展业务规模不断发展扩大，应用系统每时每刻都在产生海量日志数据，这些日志种类繁杂、格式多样、用途不同，散落在生产系统各个角落。在管理方面，无统一的管理，往往只有系统出现问题是才被查找，并查找难度大，效率比较低；在安全性方面，日志分散，很容易被无意删除或篡改；在告警方面,事后处理，等出错后在查找问题原因，问题定位，没有做到有效监控，事前预警过程。除此之外，日志大部分都被设置了清理策略，在暂存一段时间后将被永久删除，未得到充分应用，而随着大数据的兴起，日志中隐藏的数据价值尚未被挖掘。

据调查和分析，银行行业在应用日志管理及分析目前面临主要问题及困境：

1.日志数据分散无统一管理;

2.监控管理方式多样化,无集中监控管理;

3.日志数据庞大，管理难度大;

4.排查问题复杂、定位难、效率低;

5.交易日志数据缺乏价值数据提取、挖掘。

应用日志大数据分析平台建设具体目标：

针对日志数据面临的问题，应用日志大数据分析平台主要实现价值目标，在日志管理方面通过实现统一实时采集，将日志集中管理到应用日志大数据分析平台。在日志数据存储方面，采用大数据非结构化，分布式式数据存储技术解决日志数据管理难、大等问题；在日志业务监控方面：通过日志数据价值分析实现健康监控，指标可视化，智能告警分析。在业务关联分析方面：实现端到端的性能实时监控、业务流程关联分析。

项目方案

应用日志大数据分析平台的总体架构设计是基于数据采集，规则引擎、大数据、机器学习、AI智能算法等应用与实践，项目满足我行未来数年的发展需要。系统架构满足稳定性、高可用、可横向扩展，并与其它系统灵活对接的需求。实现数据中心对底层基础数据采集、与大数据平台灵活对接，利用大数据平台的存储能力、计算能力结合AI机器学习算法对采集数据进行智能化、数据模型化，指标化进行分析，后以可视化的方式展示。从而实现从数据采集、智能化分析、可视化展示的信息化平台。

               系统架构图（1）

                智能数据分析图（2）

应用日志大数据分析平台架构从业务逻辑上分为5层：

1.资源层（日志源层）：分为两大类，一类为采集日志，包括网络设备、主机等外发日志、数据库或大数据技术存储的业务日志。二类为连接日志，连接查询而不收集，数据库或大数据技术存储的业务日志

2.汇聚层：分两类，一类为系统本身已经累计的日志泛化知识库如cisco等通用日志泛化规则、银行赞同柜面数据解析规则等。二类为自定义规则，对未知日志进行配置正则泛化解析

3.处理层：分四类，一类为日志分析语言ihl，支持的过滤、统计、管理、合并和开放。 二类为定时任务，将海量数据预先计算缓存提升效率。三类为告警，通过ihl定制规则发送告警。四类为算法库，包括系统内置的23种通用算法和支持开发者上传算法代码

4.分析层：分两类，一类为已有日志业务场景化展示知识库，如IT资源数据分析、安全分析、业务监控、自动化分析和故障分析。二类为利用接口API定制开发的高级分析应用场景知识库如文本日志异常检测，采用交互式所见即所得的AI异常检测和趋势预测算法，可随时调整参数和实际情况进行对比，提升准确性。在交易分析子系统是通过采集超级网银、电子综合前置系统交易日志数据，通过kafka推送到大数据平台，利用Flink流式计算方法，计算应用日志的交易量，成功率、响应率、响应时间等相关应用系统业务运营指标数据。在此过程中机器学习算法单KPI异常检测、交易链条异常检测分析分析关联事件的影响。

5.可视化层：实现对对应用日志中产生异常检测分析、告警信息进行监控、以及自身Agent存活状态、资产设备异常情况实时监控。报表设计器和仪表盘设计器，可以设计大屏展示、领导视图等数据可视化功能。

创新点

应用日志大数据分析平台主要创新点：

1．数据全文搜索提供功能强大、简单易用的搜索方式，包括范围查询、字段过滤、时间过滤、正则表达式、模糊匹配、支持函数库、历史检索条件留存方式，并能对查询字段高亮显示、定位日志上下查询关键字。

2．快速检索、响应时间快，系统能够实现1秒内接收处理200万条以上日志数据，查询1000亿条数据仅需要不到60秒，并支持横向扩展，在日志量增加的情况下不会导致速度降低。

3．可编程统计分析，通过高级搜索模式可直接在搜索框输入ihl语言命令，实现日志关联、字段数值统计、并较为复杂的日志分析，支持图表、表格统计分析，系统还支持提供上百总多种统计分析常规函数，一条ihl语句即可连接图表、报表分析场景与分析模型，且支持自定义分析结果的告警逻辑。

4．可视化报表，用户只需点击鼠标就能实现数据到可视化图表的转换，提供包括平滑序列图、仪表盘、趋势图、循序图、堆叠图、地理位置热力图等多种常用展示效果，可自定义仪表盘及图表样式，且支持图表关联钻取。

5．完善的厂商知识库与第三方对接丰富接口。

技术实现特点

应用日志大数据分析平台技术分实现角度来说，采用前后端技术分离技术、整套系统采用的后端技术主要采用的java/c/python/为主要开发语言、在采集层主要Agent对日志源层实现日志的采集工作，通过端口监听Nginx负实现在Axlog采集主程序工作，在数据存储层主要elasticsearch的集群部署（可支持横向扩展）进行日志数据的存储工作，在业务逻辑处理成主要是采用自研engine进行业务逻辑处理，并涉及机器学习算法到分词算法、数据转化器算法、字段选择器算法的应用。在可视化层主要采用React、Umi、Dva、Antd、echarts、d3等技术为前端展示技术。

              技术架构图

1．分词器TF-IDF算法介绍

  TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

1）TF是词频(Term Frequency)

  词频（TF）表示词条（关键字）在文本中出现的频率。

这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。

 公式：           即：

 其中 ni,j 是该词在文件 dj 中出现的次数，分母则是文件 dj 中所有词汇出现的次数总和；

2） IDF是逆向文件频率(Inverse Document Frequency)

  逆向文件频率 (IDF) ：某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。

如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。

公式：         

其中，|D| 是语料库中的文件总数。 |{j:ti∈dj}| 表示包含词语 ti 的文件数目（即 ni,j≠0 的文件数目）。如果该词语不在语料库中，就会导致分母为零，因此一般情况下使用 1+|{j:ti∈dj}|即：

3）TF-IDF实际上是：TF * IDF

   某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。 公式：

 注：  TF-IDF算法非常容易理解，并且很容易实现，但是其简单结构并没有考虑词语的语义信息，无法处理一词多义与一义多词的情况。

2．TF-IDF在项目中应用

  1）搜索引擎； 2）关键词提取； 3）文本相似性；

项目过程管理

该项目为我社2017年立项建设项目，具体建设情况如下：

1．2017年03月至2017年06月，立项阶段。该阶段完成项目立项前的可行性分析和项目立项。

2．2017年07月至2017年10月，准备阶段。该阶段进行平台的技术研究、调研及分析工作，并对平台的功能进行规划。

3．2017年11月至2018年12月，需求分析阶段。

4．2018年01月至2018年05月，设计开发阶段。该阶段进行平台的概要设计、详细设计和编码开发及功能测试。

5． 2018年06月至2018年07月，验收测试段。

6．2018年08月，平台投产和试运行阶段。

7．2018年11月至2019年1月，应用日志大数据分析项目进入二期建设准备阶段。

8．2019年2月至2019年4月，进行二期需求分析阶段.

9．2019年5月至2019年8月设计开发阶段。该阶段进行平台的概要设计、详细设计和编码开发及功能测试。

10．2019年9月至2019年10月，2019年10月至2019年11月

11．2019年10月至2019年11月，项目实施阶段

12．2019年12月至2020年1月，平台投产和试运行阶段。

运营情况

应用日志数据分析平台自2018年6月上线运行，共接入重保类（9）套、一级系统（25）套应用日志的采集工作、网络设备（67）台、安全设备（60）台、主机linx/Aix/windwos(616)台 syslog日志的完成800G/天数量采集工作。实现电子综合前置系统，超级网银系统的交易量、成功率、响应率、响应时间、交易告警交易模型数据分析分析。系统未出现重大功能缺陷和性能瓶颈。

应用日志大数据分析平台为我社数据中心重点数据监控，数据分析系统，从监控监管来说该系统既满足监管部门的监管要求，同时也为数据中心解决日志分散不集中，定位繁琐，定位难的问题，大大提高故障定位的时间效率。从数据价值角度，该系统与大数据平台的无缝结合，大大分析出产品性能、运行状况等主要指标数据，为数据中心的稳定运行提供了可靠的支撑保障。

项目成效

应用日志大数据分析平台的建设帮助传统运维进入新阶段，极大地提高了我社运维工作的效率，降低了运维工作的难度，改变了过去人工为主，依赖经验的运维模式。尤其在新兴的互联网金融领域，大数据智能运维更是发挥了重要的作用。并改变传统运维技术需要大量人工操作，通常排查一个问题需要花费一个有经验的运维技术人员数小时精力，而依靠大数据日志分析运维技术，可以实现实时检索，定制化告警达到秒级延时。同时建立提前预警、事中告警、事后定位三环连动告警机制。快速运维工作的要求，减轻了工作人员的压力，也极大提升了用户体验。

利用大数据日志分析技术进行合规审计，可帮助灵活应对上级主管部门的合规性要求，将合规性管理工作由无序变有序，适时呈现合规状态；

实时采集业务日志数据，真实的还原业务的访问过程，精准的分析业务性能指标，为业务系统稳定运行提供稳定的保障。

经验总结

应用日志大数据分析平台的建设解决我我社对日志数据分散、无统一管理的问题，将数据中心分散的主机日志、网络日志、应用系统等多种多样的日志实现了集中管理、统一存储的目标，在问题处理方面解决运维人员定位难、排查复杂，历时周期长等问题，在监控方面，通过日志指标监控，能够实现告警实时监控，做到事前预警提示。在业务分析方面，通过对日志大数据采集，利用大数据算法模型分析，做到业务交易量、成功率，响应时间、响应率的实时采集，为业务的稳定裕兴提保障。同时也满足监管机构对我社的监管要求。

通过应用日志大数据分析平台建设也暴露我社的对日志规范要求的不足，导致在数据分析过程遇到的很大的障碍，以后一定加强日志规范要求，加强日志的管理。另不足之处，就是忽略日志数据的价值，浪费大量的有价值的数据。