一、项目背景及目标

1.项目背景

当前，应用日志分散存储于各类虚拟机服务器，一个应用系统通常包含几十台乃至几百台微服务集群，且日志格式繁杂多样。故障发生后，运维人员需逐一登录所有可能涉及的服务器，手动检索日志文件，从海量日志中提取关键信息。这一过程严重降低了故障定位效率，对业务连续性造成不良影响。与此同时，传统日志分析方法缺乏高效的可视化展示与检索能力，难以满足聚合统计分析、多表关联等更高层次的监控分析需求。此外，单次业务调用链路可能横跨多个不同应用系统，而当前各系统日志均处于独立存储、分散管理的状态，无法实现跨系统日志的关联分析，进一步制约了运维效率的提升。

部分应用系统已基于开源ELK技术栈，搭建了可视化日志检索平台，但面对PB级海量日志数据，ELK技术栈暴露出诸多明显缺陷。首先，ELK日志压缩率偏低，海量日志长期存储将产生较高成本，不利于降本增效目标的落地实施；其次，ELK平台的高吞吐写入能力不足，难以保障秒级数据写入延迟，直接影响故障排查的时效性；此外，ELK的分析能力有限，仅支持简单关键词检索，无法支撑多表关联、聚合分析等复杂日志分析场景；同时，ELK平台在定制化功能扩展方面存在局限，难以根据实际需求实现针对性功能拓展。

针对上述日志管理痛点及现有方案的不足，青岛银行基于实时分析型数据库Doris，建设了全行级日志管理平台，实现应用日志的统一收集与集中管理。该平台不仅能够高效支撑TB级日志数据的存储与实时写入，还提供了丰富直观的可视化日志检索功能，可充分满足用户复杂的日志检索与分析需求，为智能运维建设和业务连续性运行筑牢了坚实的数据底座。

2.项目目标

提升故障定位效率

将分散在全行各应用系统中的日志统一采集并集中管理，替代传统繁琐低效的人工日志排查模式。平台支撑海量日志实时写入，提供秒级可视化日志检索、日志关联分析以及大模型归因分析能力，助力运维人员快速定位错误，显著缩短故障定位修复时间，保障业务连续性。

日志安全审计

支持对日志数据进行脱敏与加密处理，同时提供多级权限管理及日志查询审计功能，全面满足金融行业对日志审计的合规要求，有效保障隐私数据安全。

自主可控

基于信创环境完全自主研发，解决现有日志平台框架无法灵活定制化扩展的问题。平台创新引入采集解析节点管理、查询审计、负载管理、会话管理等功能，简化应用系统接入流程，提升平台运维效率，保障平台稳定运行。

二、创新点

标准化日志能力建设

针对行内日志繁杂、缺乏统一规范的问题，青岛银行日志管理平台建立全行统一的日志标准体系，针对各种类型的日志（应用日志、批量日志、中间件日志等）分别制定日志标准。以应用日志为例，日志中必须包含服务名称、链路标识、全局流水号、日志级别、线程号、ip、渠道流水号、接口号等关键要素。应用系统对接平台时，平台会同步开展日志结构规范性校验，从源头保障日志符合统一的标准规范，为后续链路追踪、监控、智能归因分析等应用提供高质量的数据底座。

基于Doris的高效日志存储

青岛银行日志管理平台创新性地选用实时分析型数据库Doris集群进行日志存储，而非业界常用的Elasticsearch（ES）。依托 Doris 高性能架构，平台可实现日均百 TB 级、每秒 GB 级海量日志稳定持续写入，数据写入时延控制在 1 秒以内，充分保障数据的实时性与高效性。同时，Doris的日志压缩比低至25%，相比ES可节省60%以上的存储成本，显著实现降本增效。

在查询能力方面，Doris天然支持SQL语法，并具备全文检索、聚合分析、多表连接、物化视图等多种数据检索能力，能够满足用户复杂场景下的日志分析需求。

在存储策略上，青岛银行日志管理平台采用冷热分离方案：近十五日的热数据存储在高性能SSD磁盘，保障检索响应速度，超过留存周期的数据则保存在低成本的HDD磁盘中。这一设计在保障海量日志高效检索的同时，极大降低了日志的长期存储成本。

多维度的可视化日志检索分析

青岛银行日志管理平台提供可视化日志检索界面，供用户快速检索满足条件的日志。平台支持关键词检索与SQL条件语句检索两种检索方式。此外，利用Doris的内置函数，平台支持多维度关键词检索模式，包括多关键词与检索、多关键词或检索、短语检索、正则表达式检索、多检索规则组合等等，可以满足用户不同场景的检索需求。并且平台支持上下文检索，可以快速定位目标日志的上下文，便于定位问题。

除此之外，平台提供SQL编辑器功能，支持用户在线编辑运行SQL语句，并提供查询结果可视化展示与导出能力，充分满足用户多表联查、聚合分析等复杂分析场景的需要。

日志脱敏加密

青岛银行日志管理平台在日志解析层会对解析后日志进行脱敏处理，并对其中敏感信息执行MD5加密。最终存储的日志均为完成脱敏加密后的数据，从而有效防止隐私数据泄露，保障数据安全。同时，在日志检索页面，平台提供MD5加密功能：若需根据敏感信息定位客户，用户可先通过该功能将敏感信息加密为对应的MD5字符串，再以此字符串检索日志。这样一来，在确保数据安全的前提下，依然能够实现敏感关联日志的快速检索与定位。

细粒度的日志权限控制与查询审计

青岛银行日志管理平台支持为用户分配差异化权限，每个用户仅可检索其权限范围内的应用系统日志表。同时，平台创新性地实现细粒度权限控制：将各应用系统拆解为若干子模块，针对不同子模块日志均可独立配置访问权限。此外，日志平台内置查询审计功能，记录每个用户的查询操作。借助上述机制，平台可有效降低数据泄露风险，满足金融行业的监管合规要求。

基于大模型的智能归因分析

青岛银行日志管理平台通过大模型编排工作流，实现对错误日志的智能归因分析。用户在展开某条日志明细后，可点击按钮触发对该日志的归因分析。平台首先会查询与该日志相关联的全部链路日志，并判断链路中是否存在错误。若检测到链路错误，平台将调用大模型逐步剖析错误原因，最终生成一份结构化归因分析报告。报告内容涵盖错误现象总结、关键日志节点、关键信息、可能根因及优化建议，从而帮助用户快速定位并修复错误，提高运维效率。

各组件节点可视化远程管理

青岛银行日志管理平台支持在页面上可视化管理各流程组件节点的集群，包括日志采集 Agent 节点（Filebeat）、日志解析集群（Logstash）以及日志存储集群（Doris）。用户只需通过简单的页面操作，即可批量完成各节点的远程部署、启动、停止、配置修改及扩容，无需手动登录服务器逐一安装配置，大幅简化各应用系统接入平台的操作，降低人工操作失误的风险，显著提升了平台运维与扩展的效率。同时，平台会自动监控各节点的运行状态，一旦发现节点异常宕机，将立即通过飞书发送告警通知给平台管理员，从而保障平台的稳定性。此外，平台还支持对各节点日志的实时追踪，便于快速定位节点异常。

会话管理与负载管理

青岛银行日志管理平台支持会话管理功能，可主动终止异常查询会话，有效规避因超时阻塞查询持续占用系统资源的问题。同时，基于 Doris 的 Workload Group 能力，平台配置负载管理功能，限制每个用户查询所使用的 CPU、内存等资源，保障查询资源的合理分配，从而提升平台整体稳定性。

三、项目技术方案

（1）项目规划实施

项目总体分为平台建设和应用系统对接两个阶段实施：

平台建设阶段：2025年7月-2026年1月16日，按照需求分析-概要设计-开发联调-系统测试-准生产测试-系统上线的标准化流程建设平台。2025年10月完成测试环境平台的搭建，2026年1月16日完成生产环境日志管理平台的搭建，包括日志缓冲集群、日志解析集群、日志存储集群、日志可视化查询平台，为应用系统日志接入奠定基础。

应用系统对接阶段：2026年1月-2026年12月，制定统一的日志格式规范和日志管理平台接入流程，按照系统优先级逐批次接入系统。首先接入手机银行、新ESB、新核心相关系统等重要系统，然后逐批次接入其他应用系统。优先接入新建系统以及目前排查故障困难的系统。

技术架构方案

图1 青岛银行日志管理平台的技术架构图

图2 青岛银行日志管理平台的数据流转图

青岛银行日志管理平台的技术架构图和数据流转图分别如图1和图2所示。平台总体分为以下六层:

日志采集层：日志采集层采用 Filebeat Agent 作为采集组件，部署于各应用系统服务器，实现对日志数据的实时采集与传输。采用 filestream 输入类型采集日志，提升日志采集效率。为避免日志采集任务占用业务服务器的计算资源，平台还利用 cgroup 技术对 Filebeat 进程的 CPU 和内存使用进行精细化限制与资源隔离，确保采集过程对业务系统性能的影响降至最低。同时，为防止交易日志传输抢占业务网络带宽、影响核心业务的最大处理能力，平台为每个系统服务器额外加装独立的日志网卡，所有日志数据均通过该专用网卡传输，与业务网络实现物理或逻辑上的彻底分离，从而显著降低业务系统运行风险。此外，Filebeat 在采集日志时，支持基于日志格式的多行合并处理，能够将堆栈信息、异常追踪等跨行日志正确拼接为一条完整的日志记录，避免多行日志被错误拆分为多个独立事件，保障日志的完整性与可读性。为增强日志的可检索性以及问题定位的精准度，Filebeat 在采集过程中还会自动添加 IP 地址、模块名称、系统名称、文件路径等元数据字段，便于用户在日志检索与分析时快速过滤、区分不同来源的日志，从而提升故障排查与根因定位的效率。

日志缓冲层：基于 Kafka 集群构建，负责接收来自 Filebeat Agent 采集的日志数据。该层利用 Kafka 高吞吐、持久化的消息队列能力，实现流量削峰填谷与数据暂存缓冲，有效避免瞬时流量洪峰对下游处理系统的写入冲击，规避系统抖动、数据丢失等问题，保障日志全链路传输稳定可靠。对 Kafka 消息实施多副本存储机制，在节点故障时实现自动故障转移与数据恢复，有效保障日志传输过程的高可用性与数据可靠性。同时针对生产、灾备等不同运行环境，平台分别部署独立的 Kafka 集群，避免不同环境之间的网络带宽、磁盘 I/O 及内存等资源相互争抢，进一步提升平台的健壮性。此外，平台部署 RedPanda 控制台，支持对 Kafka 集群及其主题进行远程可视化监控与管理。

日志解析层：基于 Logstash 集群搭建，从 Kafka 中拉取日志数据，并利用 Grok 插件，从原始日志中结构化解析出日志级别、链路标识、流水号等关键字段，最后通过批量插件写入Doris集群。同时借助 Ruby 插件实现日志敏感信息（手机号、银行卡号等）的动态脱敏与 MD5 加密，确保隐私数据在传输和存储过程中安全可控，满足数据安全合规要求。为了规避生产环境与灾备环境之间的资源竞争，平台针对两套环境分别独立部署 Logstash 集群，避免不同环境的日志解析任务相互干扰，进而保障日志解析效率。此外，为进一步提升日志解析效率并防止消息积压，解析层依据生产环境的日志流量特征，对 Logstash 的消费与写入参数进行了精细调优，包括从 Kafka 单次拉取的最大记录数、批量写入 Doris 的批次大小、写入等待延迟以及并行写入线程数等。经上述优化后，解析层平均日志消费速率提升约 30%，显著增强了系统的吞吐能力与实时性。平台通过定制化开发的 Logstash-Output-Doris 插件实时写入日志。该插件支持动态表名机制，可根据kafka主题名自动路由至对应的数据表，避免了为每张表重复编写输出配置，提升了平台的扩展性和维护效率。

日志存储层：基于 Doris 集群构建，用于存储由 Logstash 解析后的日志数据。生产环境中的 Doris 集群采用高可用架构，包含 3 个 FE调度节点和 4 个 BE存储节点，确保存储服务的持续可用。针对每个业务系统，按天创建动态分区表来组织日志，根据日志容量确立分桶数，并采用双副本存储策略，进一步提升日志存储的可靠性和高可用性。在存储成本与查询性能之间，建表时引入冷热分离策略：热数据保存在 SSD 磁盘上，保留周期为 15 天，以满足高频查询的性能需求；冷数据则存放于 HDD 磁盘，保留 180 天，兼顾长期存储的经济性。同时，采用 zstd 压缩算法对日志数据进行压缩，实测压缩率可达 24%，有效降低存储成本。为提升关键词检索效率，建表时还对日志消息字段建立倒排索引，从而显著提升按关键词全文检索的效率。平台部署了开源的 Doris Manager对 Doris 集群进行远程监控与管理，支持通过可视化一键启停、扩容、升级集群，并可自动恢复宕机节点。

日志查询层：基于 Spring Boot 和 Vue 框架自主研发日志查询平台，为用户提供可视化的实时日志检索服务。日志查询层利用 Doris 内置的全文检索函数，支持多维度的关键词检索，帮助用户精准定位日志。同时，平台提供 SQL 编辑器功能，可满足多表联查、聚合分析等复杂的检索分析需求。在数据安全方面，平台实现了多级权限控制与查询审计能力，有效保障日志数据的安全使用。此外，平台还设有专门的节点管理界面，支持对 Filebeat、Logstash 节点进行远程监控与管理，可以一键部署、启动、停止各个节点的服务，提升运维便捷性。

平台监控层：基于 Prometheus、Grafana、Alertmanager 及 Webhook 等开源组件构建，用于实时监控日志平台各节点的健康状态。可视化仪表盘可直观展示各节点关键运行指标，包括：节点的 CPU 与内存占用情况、Kafka 生产与消费状态、Doris 集群节点健康度、查询平台接口的成功率等。同时，监控层配置了丰富的告警规则，当出现负载异常偏高、Kafka 消息积压、Kafka 节点掉线、Doris 节点宕机等异常状况时，系统将自动通过飞书发送告警通知，确保日志平台的稳定运行，避免对日志查询业务造成影响。

四、运营情况

测试环境应用接入情况：目前日志管理平台已接入手机银行、新核心等6套系统的134个子模块日志，累计采集日志量达2TB，累计日志行数超22亿行，日均采集日志量约300GB。测试环境用户数为53人，累计查询次数达28,000次，有效提升了开发测试效率。

生产环境应用接入情况：目前日志管理平台已接入手机银行、互联网渠道平台、新ESB三套系统，覆盖共38个模块、86台服务器的日志，累计采集日志量超50TB，累计日志行数超910亿行，高峰时日均采集日志量可达6TB。生产环境平台用户数为8人，累计查询次数超1,400次，有力保障了生产故障排查与运维效率。

生产环境平台存储与性能：日志管理平台采用两副本存储策略，累计存储日志总量为25TB，日志压缩比达24%，有效降低了日志存储成本。日志写入延迟的p90值为1.4秒，平均查询耗时不超过2秒，保证了日志查询的实时性。

五、项目成效

故障运维效率提升

故障发生后，运维人员无需再逐一登录服务器查找原始日志，而是直接登录日志管理平台，通过关键词快速检索并精准定位异常日志。故障定位时间由原来的30分钟缩短至10分钟，运维效率提升约70%。同时，该平台支持跨系统的日志关联分析，有效打破数据孤岛，能够更精准地定位复杂调用链路中的故障点。

提升运维智能化水平

平台引入基于大模型的智能归因分析能力，融合日志聚类与链路分析技术，能够快速识别调用链路中的异常现象，自动剖析错误发生的根本原因，并生成可执行的修复建议。这一能力显著缩短了运维开发人员从发现故障到定位根因的时间，降低了人工排查的复杂度与误判风险。同时也有效提升了运维的智能化与自动化水平，推动运维模式从“被动响应”向“主动感知、自主分析”转型升级。

存储成本降低

与原始日志相比，平台借助Doris 的高效压缩存储，可降低约 75% 的存储成本，实现显著的降本增效。同时，借助冷热分离的分区策略，将热数据置于高性能存储、冷数据下沉至低成本介质，从而在保障查询效率的前提下有效控制存储开销，达到成本与性能的兼顾。

六、经验总结

（1）冷热分离的存储架构

冷热分离是平衡性能与成本的关键，需要设计明确的生命周期策略，热数据用SSD保障高频检索效率，冷数据用HDD低成本长期保存，降低存储成本的同时提升查询效率，实现降本增效。

（2）智能运维

推动平台智能化，从单纯的日志检索工具升级到智能运维平台是日志平台的未来趋势。通过多维度关键词检索、SQL分析等设计，覆盖了从简单定位到复杂分析的完整用户路径，满足用户聚合分析、关联分析等复杂场景的需求，帮助用户深入挖掘日志中的价值。利用大模型进行链路分析和结构化的错误归因分析，辅助用户精准定位问题，快速修复故障。

（3）平台节点统一监控管理

Filebeat、Logstash、Doris全链路组件的批量部署、配置、启停都能够通过页面完成，提升平台运维的效率，简化应用系统接入的流程。同时自动监控集群节点状态，发生异常后自动发送飞书告警，保障集群稳定性和高可用性。

（4）日志脱敏加密与权限控制

数据安全是金融领域日志管理的重要课题。在日志解析阶段对日志进行脱敏加密，保证平台展示存储的日志中不包含敏感信息。同时，对日志平台的用户进行细粒度的权限管控，并对用户的查询行为进行审计记录，确保用户不会看到没有权限的日志数据，避免数据泄露。