本文来源于:“鑫智奖”2020第二届金融数据智能优秀解决方案评选 ,作者:

日志易:智能日志中心平台

2020-04-01 关键词:大数据3446

解决方案简介

北京优特捷信息技术有限公司专注日志搜索分析和智能运维领域的技术研发与创新,技术和产品实力已达到国内领先水平,其研发的产品日志易智能日志分析产品是一个配置灵活、功能强大、容易使用的日志管理工具,它可对日志进行集中采集和实时索引,提供搜索、分析、可视化和监控告警等功能,帮助企业进行线上业务实时监控、业务异常原因定位、业务日志数据统计分析、安全与合规审计。

 

日志易一直坚定不移地走自主研发、自主创新技术路线,发布国内首个专用的日志搜索分析引擎Beaver,并在300多家大型企业机构得到应用,获得政府、行业、客户等各界的普遍认可。同时积极投身行业标准化建设,为行业发展献计献策,积极响应国家产教融合政策,取得了良好的社会和经济效益。

日志易部署架构图

 

日志易采用分布式、松耦合、可扩展的集群架构,各模块可水平扩展,如果哪个模块成为性能瓶颈,只需要增加运行那个模块的服务器数量。

 

应用场景痛点简介

在互联网时代,各种各样的行为都会被以“日志”形态记录存储下来,这些日志数据包括了用户的基本信息、网络浏览行为、交易行为、社交行为等等。而在金融行业,面对每天交易所产生的海量数据,以及各种服务器、防火墙所产生的日志,如何在大体量数据中实现集中管理、搜索分析、监控告警、故障溯源及挖掘有效信息加以利用成为一个重大难题。

 

日志分散难以管理

日志产生于不同的业务部门,分布在不同的服务器上,无人重视随时可能被覆盖和删除。只有将这些分散的日志数据统收集、才能相互对照,发现问题所在。以投资银行为例,传统模式下,交易部门和研究部门的数据是相互独立的,甚至数据的储存格式都不同,由此形成一个个信息孤岛,造成不同系统间关联分析困难、事故原因分析困难。

 

缺乏海量日志处理能力

数据体量大所带来的问题不仅仅是存储,更多的是庞大的数据无法利用。作为成熟的金融行业,随着网上支付、手机银行、互联网金融等新一代业务的出现,每天产生的各种业务数据、网络设备数据及防火墙数据等将轻松突破TB级别,传统的数据库及系统架构已经无法支撑如此庞大的数据量,传统方法处理效率低、时延长,企业完全淹没在一片数据汪洋之中。

 

日志格式复杂难以解读

就数据处理而言,容易处理的是企业内部的传统数据——结构化数据。然而随着信息技术的飞速发展,日志数据的范围已经扩大到企业的各个层面,服务器、各种网络设备及五花八门的应用软件产生了多种多样的数据格式。这些数据的可读性很差,对于普通人来说无异于乱码,即便是专业的技术人员,也很难一眼看懂一条日志数据。

 

使用成本高昂

作为电子货币与交易信息传输系统,一旦出现账户盗用、虚假信息等现象,将影响到国家金融与个人经济利益,又涉及到交易隐私的安全性,同时还增加了金融风险的传导与扩散危险。面对海量日志带来的运维难题,无论是购买国外先进的产品还是聘请专业的技术团队,对企业来说都是一笔不小的开支,需要花费大量的人力物力。

 

解决方案亮点介绍

搜索引擎Beaver性能优势

国内首个自研日志搜索引擎,真正的自主可控日志分析产品。同样资源配置情况下比国内多数采用ELK架构的日志产品处理更多数据。同样日志量的情况下Beaver入库查询的效率更高。基于ELK架构或底层采用ES的产品在大数据量查询时会报OOM的异常,导致查询崩溃。采用C++的Beaver则无该问题。

 

SPL(Search Processing Language)灵活统计优势

SPL主要优势是通过其丰富的命令实现日志的统计分析、组合、处理与计算。普通的SQL由于其局性是满足不了要求。另外SPL本身需要投入大量的研发人员进行开发与实践。因此目前国内成功开发并应用SPL语言的只有北京优特捷信息技术有限公司。其SPL数量已达到150个之多。几乎满足日常日志分析场景需要。

 

基于APP生态的复杂日志解析

各行业的IT业务日志其种类千差万别,单纯想要从正则方式解析或适应复杂的日志需求简直是天方夜谭。因此经过多年的迭代和优化,智能日志分析平台搭建了APP生态,可通过一件导入实现日志数据的自动化解析,同时,平台本身也研发出了自动划线解析、kv-正则、Geo解析、字段格式化等20多种智能解析规则来适应多种场景。

 

机器学习与智能运维

基于日志易平台的大数据处理能力,日志易团队运用先进的机器学习算法如CAVE、IForest、KDE等,实现海量数据下的异常自动发现、KPI检测、容量预测等AIOps功能。

 

金融行业客户名单及客户评价

日志易已帮助人民银行清算中心、农信银资金清算中心、建设银行、中国银行、交通银行、招商银行、广发银行、华夏银行、兴业银行、江苏银行、南京银行、徽商银行、甘肃银行、富滇银行、百信银行、山东农信、山西农信、无锡农商行等数十家银行机构搭建统一的智能日志中心。

 

客户评价:

深圳某大型综合金融集团基础架构部主管:使用日志易之后,省去了登录服务器的操作,在快速的同时,更降低了人为登录服务器误操作引发生产故障的几率;多维度的查询条件,让定位异常原因的效率也提高了;此外,还可以对日志数据进行数据挖掘、用户行为分析并生成相应报表,针对应用系统健康指数进行提前告警。

 

某大型城商行IT运维项目负责人:日志易系统自投产后,使用广泛,由于其强大的功能与简单的上手操作使得针对各类系统的日志搜索变得尤为方便。同时,日志易自带监控模块,使得该行对自身系统运行监控的方式更丰富、更精确。

 

易方达基金运维负责人:部署日志易后,日志标准化了,使用门槛也降低很多,日志同步速度得到了提升;以前日志只能做搜索和告警,现在日志还可以进行统计分析,提升了整个团队的运维水平;把日常基础的监控分析交给日志易平台,运维人员把更多精力放在更复杂,更高级运维工作中去。”

本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】

推荐阅读

更多

艾信运通:财务大数据建模解决方案

艾信运通财务大数据建模解决方案利用银行历史违约企业的数据作为负样本、按时还款企业的数据作为正样本,通过财务分析与统计建模相结合的方式开发多种风险评价模型,终通过对比分析选出优模型。

“鑫智奖”2019首届金融数据智能优秀解决方案评选 2020-04-01

艾信运通:企业财务分析暨财务报表舞弊侦测解决方案

企业会通过虚增利润、资产,虚减负债的手段来掩盖财务风险,人工识别这种舞弊行为的工作量非常巨大,需要财报分析软件具备自动化舞弊侦测能力。

“鑫智奖”2019首届金融数据智能优秀解决方案评选 2020-04-01

凌志软件:证券行业精准营销服务一体化平台

本方案从营销服务理念出发,遵照证券行业适当性管理规范合规等要求,满足证券行业数据产品导向的场景化营销服务核心诉求,凌志软件从顶层设计开始到技术实施落地执行,完整推出精准营销服务一体化解决方案

“鑫智奖”2020第二届金融数据智能优秀解决方案评选 2020-04-01

中国电信:烽火台

中国电信烽火台是以企业相关数据为主要研究对象,通过对内外部数据整合、挖掘和联合分析为金融机构,类金融企业,政府等客户提供大数据智能获客、风险预警、宏观经济数据透视、分析统计和风险监管服务的能力平台。

“鑫智奖”2021第三届金融数据智能优秀解决方案评选 2020-04-01

拓尔思:智能风控大数据平台解决方案

拓尔思智能风控大数据平台是一款利用大数据、自然语言处理、知识图谱技术构建的综合型在线服务平台。平台全面监控3700多万家在营企业实时多维风险,在风控、资管、内控等核心金融场景有广泛应用。平台提供智能多维标签、预警信号推送、风险事件捕获、风险传导关联、综合异构图谱等贯穿贷前、贷中、贷后的全流程风险管理功能,提升金融机构风控能力。

“鑫智奖”2019首届金融数据智能优秀解决方案评选 2020-04-01

日志易:基于大数据的智能日志中心

日志易智能日志中心平台,可用于大中型企业的日志数据的分析处理上,可提供安全、弹性、合规、便捷、有保障的系统架构。

网络整理 日志易 2020-04-01

案例库

金融行业全面的数字金融创新案例,涵盖历届“鑫智奖·金融机构数智化转型优秀案例评选”、“农村金融机构科技创新优秀案例评选”、“城市金融服务同业案例征集活动”等科技创新参评案例

  • 大数据

微信
咨询

微信咨询

扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构