一、项目背景及目标

1.项目背景

随着智能银行时代的来临，业务模式正在发生深刻变革，业务流程需要更丰富、更准确、更高效的数据服务支撑。国有行、股份制行和头部城商行均曾面临基础数据不完整、数据质量差、数据服务时效低等问题，且大多于3至5年前就已开始数据“建梁立柱”工作，成果已逐渐显现。目前，已持续推出各类数据产品，不断挖掘数据价值，极大提升了业务创新能力。

对比先进同业后发现，我行数据能力建设依然存在差距，具体表现为三方面：

（1）数据完整性不够。当前，数据平台存储空间不够，导致关键分析结果和整合后的数据无法长期保存，难以满足使用周期较长的数据服务，数据平台和大数据平台作为全行数据基础平台，二者相互独立、缺少融合，现有数据架构和技术体系无法实现多样数据的采集，全域数据汇聚能力不足。

（2）数据规范性不高。数据标准方面，源系统数据标准不一，数据平台缺乏数据标准的间接落标，导致未能形成可见、易用、好用的数据资产。数据模型方面，缺少针对数据模型的有效管理，数据开发不规范，数据使用低效，数据资产化能力不足。

（3）数据时效性不强。当前，数据平台资源使用率已达80%，且无法扩展，算力不足，无法按时完成分析任务，批处理完成时间较上线初期已延迟7小时，严重影响关键报表的时效性。此外，由于缺少辅助工具支撑，数据研发周期长，进而导致交付效率低。

针对当前数据能力方面存在的不足，并结合监管要求、同业经验以及我行数字化转型对数据能力建设的需要，我行实施数据平台升级迁移项目，建设新一代“湖仓一体”数据平台建设。

2.项目目标

一是构建全行“湖仓一体”数据底座，支持平台资源弹性扩展，实现大规模、多类型数据快速接入和存储，形成全域、完整的数据资源，整合海量存储和高性能计算能力，以更低成本满足全行多层次敏捷用数需求。

二是修订数据标准，以更符合业务人员使用习惯的方式重建数据模型；提炼业务条线共性数据需求，整合公共加工逻辑，提供组件式的数据服务；引入全套数据中台工具，构建一站式数据研发交付体系。数据的准确性、可用性显著提升，数据服务时效性明显增强。

三是在数据体系重构过程中，构建数据架构、模型设计、数据开发的系统性规范，建立数据标准管理及数据质量管控的长效机制，形成数据全生命周期管理及治理的有效闭环。

二、项目方案

基于我行现有的星环大数据平台和新采购的MPP数据库，实现MPP+TDH的“湖仓一体”混搭架构，打造融合架构的共享数据能力中心。

图1：“湖仓一体”数据平台总体建设方案

新数据平台和大数据平台有效融合，基于两套数据生态，进行合理的数据分层：

湖生态：承载全行全量、全历史的数据，内外部数据，多结构化数据，沉淀数据资源。

MPP生态：数据模型落标，全行统一数据整合集成，形成各个数据层的数据组织与模型。

图2：“湖仓一体”数据平台技术架构

1.数据湖建设：湖仓一体化数据平台的核心是数据湖，它是一个存储海量原始数据的集中库，可以接收来自各个业务系统等多样化数据源的数据。在数据湖建设中，使用数据切片（每日快照）的方式进行数据存储，保持与源系统的一致性，方便后续的历史数据查询使用，确保数据的准确性和一致性。

2.数据仓库构建：在数据湖的基础上，构建数据仓库用于存储结构化和半结构化的数据，并按照主题进行组织和整合。关键技术包括数据建模、数据集成、ETL（抽取、转换、加载）等，用于将原始数据转化为可供分析和应用的形式。

3.数据治理和质量管理：为了确保数据的可靠性和可用性，需要进行数据治理和质量管理。通过数据管控平台实现数据分类、数据分级、数据血缘追踪、数据质量跟踪等，用于管理和提升数据的质量和价值。

4.数据安全和权限控制：在湖仓一体化数据平台中，数据的安全性非常重要。通过访问控制、权限管理等措施，确保只有授权用户可以访问和操作数据，并保护数据的机密性和完整性。

三、创新点

基于“湖仓一体”架构的数据平台的创新点有以下几方面：

1.技术创新

先进的数据采集：湖仓一体化数据平台采用了先进的技术来实现高效的数据采集、存储和处理，在数据采集过程中，实现各类数据库、数据文件的集成采集、并完成数据文件的统一标准化处理。结合ETL调度平台，对作业进行高效监控，保证文件到达后，即刻完成入仓及后续数据处理工作，保证数据处理的高效性。

高效的数据接入：借助研发工作站实现高效的数据接入、规范开发和测试过程，实现了对数据接入、开发和测试过程的高效管理和规范化。这种集成开发环境的运用，集成了元数据采集、模型设计、算法选择、数据开发、数据探查、版本管理等开发元素，使得数据平台在研发过程中更加高效和可控，提升了研发效率。

2.业态创新

湖仓一体化数据平台打破了传统湖仓和数据分析应用的界限，将数据采集、存储、处理和应用相互连接，实现了全链路的数据管理和价值创造，通过与各个环节的合作伙伴进行数据共享和交换，平台可以集成多个业态的数据，实现跨部门的业务流程优化和创新。

3.应用场景创新

湖仓一体化数据平台适用于我行各类应用场景，例如风险管理、客户洞察、业务流程优化和营销推广等应用场景。

风险管理：湖仓一体化数据平台通过整合银行内外部各类数据，如客户数据、交易数据、市场数据等，实现对风险的全面监控和分析。

客户洞察：平台通过整合和分析银行的客户数据，包括个人客户和企业客户的交易记录、信用评级、行为偏好等，能够深入洞察客户的需求、偏好和价值，从而提供个性化的金融产品和服务。

营销推广：平台可以根据客户的需求特征和行为模式，定向推送适合的金融产品和服务，提供个性化的营销方案。这能够提高银行的营销精准度和效果，吸引更多潜在客户，并增加交叉销售和客户增值的机会。

四、项目过程管理

五、运营情况

我行依托TDH+MPP的“湖仓一体”混搭架构建设的新数据平台及相关配套产品、规范等内容，形成了一套完整的采、管、存、用的数据全流程管理体系。

采：将老数据平台多种采集类型归并为文件和DataX两类，并完成数据文件标准化、自动化压缩与备份，实现文件统一管理。

管：通过研发工作站、统一调度平台、数据管控平台，实现数据的统一管理，重构规范化的数据体系，构建数据架构、模型设计、数据开发的系统性规范，建立数据标准管理及数据质量管控的长效机制，形成数据全生命周期管理及治理的有效闭环提升数据的整体质量和使用效率。

存：构建了全行的数据底座，支持平台资源弹性扩展，存储65个业务系统数据，数仓贴源层实现1322个数据表的原貌数据存储，基础层实现420张数据表的加工，共性加工层实现26张数据表的加工，并完成老数据平台历史数据迁移工作。在此过程中，不断完善数据问题，提升数据完整性。

用：以更符合业务人员使用习惯的方式重建数据模型，提炼业务条线共性数据需求，整合公共加工逻辑，提供组件式的数据服务。目前新数据平台已对接报表集市、监管集市、支付统计集市、流动风险集市、新绩效系统、指标集市等数据需求，并为26个业务系统提供数据文件的对接服务，未来将继续丰富新平台共性层数据。

六、项目成效

1.建成湖仓一体技术平台

我行湖仓一体技术平台以星环大数据平台为主存储，以南大通用Gbase8a分布式数据库为计算引擎，集两者优势为一体，加工效率大幅提升。新架构在充分利用行内现有资源的前提下，支持弹性资源扩展，湖仓交互方案经过反复论证实践，安全、高效、稳定。目前已完成老数据平台所有数据源入湖入仓，整体数据入仓平均时间相比老平台缩短2.5小时。新平台以数据的准确性、完整性和时效性为目标，经过3个月的试运行检验，湖仓一体技术平台已具备成熟的服务能力。

2.提升数据整合能力

通过引入DataX数据同步工具和数据研发工作站，实现数据采集交换配置和ETL开发的线上化、可视化、统一化和标准化，并借助调度日志实现数据从采集、转换、落地全流程的留痕、可追溯。

共性加工层是向下游系统提供数据支撑的主要渠道之一，通过前期需求收集和分析，共性加工层共规划了109个模型，截止9月末共性层已上线28个模型，初步实现了客户One Id识别映射和主要业务的整合覆盖，有效沉淀全行高价值数据资产，持续提升下游需求响应效率，高效支撑了智慧绩效考核系统、指标管理平台等下游用数需求。

3.重构标准数据体系

（1）规范数据分层及加工链路：结合我行现状，重构湖仓一体下的数据架构，对数据分层及数据加工链路进行规范统一；并在此基础上制定了模型设计规范和开发设计规范，确保数据体系规范的延续性。

（2）数据标准提升：配合数据资产组完成我行数据标准的修订，目前已形成数据标准300余项、词根3500余项、标准代码20项，实现数仓基础层539个模型、共性层28个模型的标准化落地。

（3）作业调度能力提升：新调度平台具备图形化界面监控功能、支持多种触发方式、多频度调度周期、多种作业任务类型。实现单作业运行配置，打破原有系统级调度依赖，提高批量运行的执行效率。

七、经验总结

本项目借助本次数据平台数据库Netezza一体机更换，实现数据平台升级迁移。建设“湖仓一体”的数据平台的过程中，秉承“平滑性”、“迭代性”原则，采用“迁移中选重点优化”的策略，即分级分层制定不同的迁移策略。如数据交换层、贴源层、应用集市层采用原样迁移，数据主题层重新设计，共性加工层优化改造，结合下游报表和指标进行完善。

在建设“湖仓一体”的数据平台过程中，为推进信创发展，实现信息技术的自主可控，在数据仓库国产化替代过程中总结以下痛难点：

一是业务应用系统需要针对国产平台数据仓库进行迁移改造，上下游适配度是否满足业务要求；

二是国产平台数据仓库稳定性、可用性、可靠性是否满足业务连续性要求；

三是国产平台数据仓库的性能是否满足业务的要求；

四是国产平台数据仓库的可维护性、易用性等是否满足业务要求；

五是国产平台数据仓库是否保障了用户侧、数据侧、管理侧的数据安全。