一、项目背景及目标

本项目采用"湖仓一体、一湖两仓"先进架构，具备统一存储、治理、服务优势，融合存算分离、流批融合、数据编排与容器化技术，构建灵活高效的数据底座。该架构打破数据孤岛，实现结构化与非结构化数据统一管理，解决传统数仓层级复杂、数据冗余、加工链路冗长、运维效率低等痛点，大幅提升资源利用率与数据处理时效，降低成本的同时，提供实时、统一、高质量数据服务，全面赋能数据价值释放。

市场分析：大多数银行面临数据孤岛问题，传统数仓架构难以支撑数字化转型需求。

立项背景：随着北部湾银行业务的发展，行内呈现出数据体量巨大、数据类型繁多、数据价值的挖掘潜力大的特征。传统数据仓库架构普遍面临数据共享不畅、计算引擎单一、开发标准不统一等瓶颈，已难以适配全行数字化转型战略发展要求。

项目目标：依托存储计算分离、分层存储、弹性计算、虚拟集群等先进技术，搭建"数据即服务"开放生态体系，实现数据资产可见、可信、可读、可控、易用五大核心目标，为北部湾银行数字化转型与业务高质量发展筑牢坚实的数据底座。

二、创新点

（1）技术基座创新：存算分离与虚拟集群

采用存算分离架构，将底层数据存储与上层计算引擎彻底解耦。通过引入虚拟集群技术，实现了“一份数据存储，多个计算引擎”共享的模式。这一创新不仅从根本上避免了数据在不同引擎间的重复存储和冗余拷贝，降低了存储成本，更重要的是实现了计算资源的弹性伸缩。当面对突发的业务查询或复杂的批量计算任务时，平台可以快速响应，按需分配计算资源，提升了数据处理的效率和并发能力。同时，本项目平台兼容Spark、Flink、Hive等多种主流计算引擎，可根据银行不同业务的计算需求（如批处理、流处理）灵活匹配引擎类型，实现“多个计算引擎共享一份数据”的高效协同。

（2）数据架构创新：三态协同架构

创新性地提出了实验态、验证态、生产态的“三态”数据架构理念。依托虚拟集群能力，搭建了物理隔离、逻辑互通的实验区、验证区与生产运行区。在实验态，数据分析师和算法工程师可以拥有独立的算力与存储空间，进行数据探索性分析和模型训练，而不会对核心业务造成影响；在验证态，新开发的模型和任务可以进行充分的联调测试；最终在生产态保障核心业务的稳定运行。这种架构设计不仅实现了严格的算力隔离和存储分区，还通过资源的动态调度和复用，将平台整体提升资源利用率，解决了传统架构中资源浪费的顽疾。

（3）五大领域定制化设计

围绕银行业务特性开展定制化设计，构建营销、风险、运营、财务、监管五大核心业务领域，将领域级数据按业务归属精准下沉至各领域数据集市。深度支撑客户画像、精准营销、智能风控等关键业务场景，打通数据与业务链路，实现数据赋能与业务应用的深度融合。相较于行业通用领域划分模式，该体系更贴合银行业务逻辑与监管要求，业务针对性更强、落地适配性更高，可有效支撑银行业务精细化运营、数字化管控与高质量发展，为银行数字化转型提供坚实的数据底座支撑。

（4）低代码开发与数据治理创新

项目基于Mapping开发与调度任务的深度联动，构建了标准化的低代码数据开发模式。通过自动化闭环设计，实现了从模型设计、字段映射、代码生成、测试验证到运维管理的全流程自动化。开发人员只需关注业务逻辑的映射关系，系统即可自动生成规范化的SQL代码并完成调度配置。这不仅将数据开发人员的能力拉齐同一水平，还统一了开发规范，为后续的数据治理奠定了坚实基础。

在数据治理方面，项目融合了脚本解析、日志解析、Mapping解析等多种技术手段，对数据血缘进行了深度补全与校验，将血缘链路的准确度提升接近100%。借助这一高精度的血缘图谱，结合数据质量、数据标准和数据安全等管理手段，平台能够精准追踪数据的来龙去脉，快速定位数据异常。这使得银行能够提供高质量、高效率的数据资产服务，真正将数据转化为可信赖的业务资产。

三、项目技术方案

（1）系统应用架构

本项目采用"湖仓一体、一湖两仓"架构设计，实现全域数据集成，支持结构化、半结构化、非结构化数据的数据湖；整合全行重要离线业务数据模型的离线数仓；与流计算配合，支撑实时、准实时应用场景的实时/准实时数仓。系统应用架构如下图：

数据采集：提供统一数据接入入口，支持行内外系统的结构化、半结构化及非结构化数据，涵盖离线与实时采集。

数据整合：作为湖仓存储计算中心，划分生产区、实验区和验证区，支撑配置化开发、项目发布及测试。

数据服务：提供统一数据服务出口，实现与上层应用的数据共享交换。

数据应用：通过数据门户为各部门及分支机构提供业务数据应用支撑。

数据研发：一站式协同开发平台，提供交互式界面、脚本任务开发及工作流可视化编排，降低使用门槛。

数据资产管理：集成资产目录、元数据血缘、质量管理、安全分级管控及模型统一管理功能。

（2）系统数据架构

数据采集模块作为平台总入口，负责行内外系统数据入湖，支持数据库直抽、文件卸数、接口及消息队列等方式，涵盖离线与实时采集。

数据整合模块对湖内数据加工治理后，通过数据服务平台以接口、文件推送、消息等方式对外提供服务。

数据应用层按需获取数据支撑业务场景，运营过程中产生的数据通过采集模块回流入湖，形成数据闭环。

（3）系统技术架构

数据接入：基于Wedata Inlong数据集成模块，提供高效稳定的数据同步能力，支持离线与实时场景下的异构数据源数据移动，满足离线集成、实时集成、整库同步等需求。

数据存储：支持结构化、半结构化、非结构化数据存储。HDFS支撑数据湖、数仓场景；COS支撑非结构化数据；HBase与ElasticSearch支撑历史数据查询；Kafka支撑实时数据缓存与计算；HDFS/Iceberg提供统一数据湖表格式管理。

数据访问加速：Allux作为内存为中心的虚拟分布式存储，统一数据访问方式，构建计算与存储桥梁，大幅提升数据计算性能。

分布式资源管控：YARN支撑HBase等组件资源管控，K8S支撑Spark、Flink、Hive等计算组件，实现动态扩缩容。

数据计算：Spark、Flink等组件容器化，资源自动弹性伸缩，支撑数据湖计算分析；OushuDB支撑数仓与数据集成场景。

运维管控中心：提供多租户管理、安全管理、可观测智能运维、巡检诊断、健康评测等能力。

数据分析： OushuDB MPP引擎支撑数据探索，打通行内SmartBI工具，实现分析结果快速触达业务。

数据服务：对接OushuDB MPP数据库，提供API生产、管理及市场等全生命周期能力，构建统一数据服务总线。

数据开发治理：提供智能数据开发方式，提升协同效率；支持元数据管理、血缘分析及协同共享；实现全生命周期质量稽核；建立集中化安全管控，提供敏感数据识别与动静脱敏能力。

四、运营情况

（1）推广应用

推广范围：可在金融行业广泛落地，不仅可在银行业全面推广，还可适配证券、保险、基金等非银金融机构，覆盖全金融领域。并且当前金融行业大数据平台建设需求旺盛，湖仓一体架构作为先进技术路线，接受度正持续提升，市场潜力巨大。

适配能力：

适配各类金融机构，方案专为银行业定制，针对营销、风险、运营、财务、监管五大核心业务领域优化开发，符合金融级安全合规要求，可广泛应用于各类商业银行、城商行、农商行等。

规模适配灵活，平台支持弹性伸缩，可根据机构规模灵活调整，小型机构可采用基础配置，大型机构可扩展多集群部署，适配不同规模发展需求

技术生态兼容，基于开源生态构建，支持主流技术组件，与现有系统兼容性良好，便于技术迁移与集成，降低落地难度。

（2）系统运行

项目自上线以来，完成128个系统10002张数据表入湖，13个核心主题、127个离线数据分析模型上线、20367个数据批处理调度任务上线，10个实时数据分析模型开发。

核心成效：

业务支撑能力强劲，可全面支撑客户画像、精准营销、风险管理、运营管理等核心业务场景，助力银行数字化转型，通过深度挖掘客户金融交易数据，实现客户精准分群与实时评价，有效提升营销成效。

成本效益显著，采用存算分离架构，减少数据冗余，大幅降低硬件投入成本，同时提升数据开发与跑批计算效率，有效节约运维人力成本。

数据治理成效明显，建立四级数据管理体系，实现数据资产可见、可信、可读、可控、好用，显著提升数据质量与安全性，为业务决策提供可靠支撑。

五、项目成效

1.经济效益

成本有效降低：借助存算分离架构减少数据冗余，降低硬件投入成本；缩短批量作业时间，减少运维人力投入，实现降本增效目标。

2.社会效益

推动金融科技发展：本项目运用湖仓一体、存算分离等先进技术，助力银行业大数据技术创新落地，促进金融科技与实体经济深度融合，为行业技术进步提供实践借鉴。

支持实体经济发展：通过提升精准营销、风险管理能力，助力银行优化对小微企业及长尾客户的服务，降低获客与风控成本，扩大金融服务覆盖面，助力实体经济发展。

提升金融服务普惠性：依托大数据分析能力，挖掘长尾市场价值，开拓线上供应链融资、消费信贷等新领域，提升金融服务普惠性，助力社会经济健康发展。

六、经验总结

1.项目建设总结

项目管理贯穿整个项目实施过程，从项目启动、计划、任务分解、任务分派、人力资源调动、监控项目进度、解决项目中的各种问题和冲突，到组织各种会议、负责组织各种交付的评审，协调项目实施相关各方关系、交流沟通，保证按时提交各种交付产品，完成项目各种验收，最终实现项目投产。主要经历了以下五个阶段：

需求分析和概要设计阶段：

该阶段主要完成了需求调研与分析、技术方案设计工作。项目组入场后，开展业务系统调研、数据架构调研、数据治理调研、数据库调研，产出业务系统调研文档、数据字典、业务关系图、数据关系图等。完成数据架构管理制度和流程、数据架构规划设计方案、Wedata需求实现技术方案、TBDS需求实现技术方案、Oushu DB对接技术方案等交付物，为后续开发奠定基础。

系统详细设计阶段：

该阶段主要完成了模型设计规范、数据湖及数据仓库模型设计文档等工作。开展业务系统调研（一批次、二批次）、标准模型设计（一批次、二批次）、业务模型层设计与映射、实时模型设计等工作。完成架构设计、数据管理规范、调研设计开发测试规范等交付物，建立四级数据管理体系，设计营销、风险、运营、财务和监管五大业务领域，为后续开发、测试及运维提供文档基础。

系统编码、测试和上线准备阶段：

该阶段主要完成了平台定制化能力开发、架构落地实施、部署自测、系统测试工作。完成基础平台、数据开发及服务平台搭建及湖仓架构落地，进行严格的工单管理规范，区分变更单、事件单、故障单，并设置不同流程，保障部署质量。完成SIT测试报告、UAT测试报告，使用完善的测试方案和丰富的经验用例保障测试质量，完成部署方案编写、评审及软硬件部署工作。

上线试运行阶段：

该阶段主要完成了投产上线、认证、试运行支持工作。进行部署环节确认、软件包与授权获取、软硬件部署。分两批次投产上线，并完成历史数据迁移和验证。启动产品维保服务，提供试运行期间的支持，确保系统稳定运行，满足金融级安全合规要求，系统可用性≥99.9%。

推广应用阶段：

平台在内部推广使用。后续完成项目验收，提交整体验收材料，实现项目正式交付。

项目实施期间，甲方负责组织系统验收、提供场地及设备、业务支持人员和IT支持人员，参与评审各里程碑的阶段性交付物。乙方负责交付各里程碑的阶段性产品，组织质量管理评审，协助甲方准备最终验收。项目计划按照工作周估算，避开正常休息日和国家法定假日，确保项目按时高质量完成。

2.推广经验总结

本项目为城商行数字化转型提供可复制的湖仓一体实践方案，在金融科技领域形成示范效应。平台打破数据孤岛，实现一份数据多引擎共享，显著降低存储与算力成本，提升资源利用率。三态隔离架构与低代码开发模式，大幅缩短数据开发周期，降低技术门槛，支撑全链路数据治理。项目有效赋能精准营销、智能风控、监管报送等场景，提升业务效率与风控能力，夯实数据安全合规底座，以数据要素驱动业务高质量发展，为区域金融数字化创新注入强劲动能。