本文来源于:“鑫智奖”第五届金融数据智能优秀解决方案评选,作者:先进数通

先进数通:商业银行湖仓一体解决方案

2023-04-04 关键词:数据库,数据体系建设,数据治理2201

一、解决方案简介


先进数通商业银行湖仓一体解决方案是提升数据管理能力,充分发挥数据价值,助力数字化转型,亟需提升数据服务能力,按照“敏前台、大中台、强后台”思路,构建数据能力底座,扩大数据服务范围,提升数据服务效率,通过数据中台建设,实现数据共享融合,沉淀数据治理成果,形成数据驱动力,提升数据资产变现能力。


二、应用场景痛点简介


近年来,我国金融创新不断推进,商业银行业务规模不断扩张,产生了大量的数据,如何有效存储、治理和利用这些数据促进银行业务发展是所有银行面临的共同挑战。


参照业界先进实践并结合商业银行实际情况,引入大数据技术对数据架构进行更新升级,利用大数据的海量数据处理和并行计算优势,搭建湖、仓一体化的基础建设。批量数据、实时数据、外部数据等在内的新一代数据总线,为数字化转型打下坚实基础。借助数据中台湖仓一体化建设项目,可以整合行内各业务系统的数据,建设一套完整、准确、强大的数据平台;理顺全行各个业务条线的统计分析工作机制;为全行及各业务条线提供好数据支持,提高工作效率、节省工作时间;为后续管理应用系统的建设打下坚实的数据基础和技术基础。主要以下6个方面的需求:


1.建立全行数据集中管理平台初步形成业务报表和统计分析解决方案,报表自动生成,数据更新及时,信息展示灵活、多样,为业务运营管理提供及时、准确的信息。


2.整合业务数据、客户信息,提高数据标准化程度,改变了原来银行基本信息不一致、数据关联度低,数据不规范、数据质量不高,难以有效支持管理信息应用的局面。


3.建立了业务洞察、经营决策新模式,提升业务洞察能力和预判能力,提高决策准确性,便于查询和监管。


4.建立行内常用指标库体系,统一和规范全行的统计口径,实现针对不同管理对象、不同管理规则的灵活定义。不仅服务于报表、管理驾驶舱,也为未来决策支持、监管报送打下良好的基础。


5.开发企业级数据仓库模型,对数据进行标准化处理,满足监管机构的要求,采用规范的业务术语,使业务人员、IT人员、IT服务商在相同语言环境下沟通,降低沟通成本。


6.为业务专业化应用,整体业务运作能力提升奠定了基础:支撑后续零售集市、对公集市、金市集市、风险集市等系统建设。


三、解决方案亮点介绍


1.建设湖仓一体化平台,提升快速响应服务能力

采用先进技术,借鉴行业经验,构建适用于商业银行的架构,科学合理的企业数据平台。明确数据湖、数据仓库、数据集市的定位及数据保存周期,理顺现有的数据接入及交换,建立数据采集交换原则、规范及流程;明确数据入湖、数据入仓的原则,数据湖、数据仓库对外供数及数据服务流程及规范;建立数据的需求管理、作业开发、模型设计、调度配置等一系列的数据建设规范。为后续零售集市、对公集市等建设提供数据支持,提高工作效率、节省工作时间,梳理出一套简单、快捷的开发平台及开发、运维工作流程,满足各方需求时效性要求,提升开发及运维人员的工作效率,缓解现有系统的运行压力。


2.提高系统数据流转处理效率

本次项目建设使用云平台,拥有强大的海量数据存储及分析处理能力,支持横向扩展。项目实施以解决性能要求,分层架构,合理配置作业并发数量,充分利用系统资源,满足日终批量处理时间要求,严格按照时间要求提供数据处理结果。


3.提升数据服务能力

数据中台湖仓一体化建设项目作为商业银行数据中台建设规划的重要组成部分,它将根据各条线及业务部门的管理经营要求,通过数据整合与模型计算,为各部门及各管理机构提供数据依据。同时,根据信贷、网贷、互联网等创新业务系统建设及运行需求,利用云平台海量数据存储及处理能力,将抽象、分析、汇总后的结果按照约定形式提供给各系统,以实现数据供给体系的数据支撑能力。


4.增强报表自助式服务

数据中台湖仓一体化建设报表集市,支持商业银行各业务条线报表需求的管理。提升服务请求的响应速率梳理简捷的报表开发流程,提升服务请求的响应速率。通过先进的报表开发工具,整理出一套从需求接收、数据分析、数据加工、报表开发与制作等环节的工作流程,达到快速开发,及时响应服务请求的目的。提供自助式的报表服务,解决各级机构使用数据难的现状。


四、金融行业客户名单


威海市商业银行股份有限公司


五、客户评价


项目上线以来重点解决数据架构松散、基础平台薄弱、数据治理及服务能力低的问题,主要如下几点:


1.数据流转时效性显著提升

构建统一、高效的技术架构,建设全面的数据能力。湖仓一体使用华为公司的分布式存储、计算架构,大支持数千节点的部署,可以灵活扩展、高效计算。湖仓一体的开发建设是个复杂的系统工程,需要全面的技术能力,完善的管理能力。采用先进数通的SharkData数据研发平台,功能方面全面支持数据采集、加工、服务、数据治理、运行管理、流批一体;管理方面实现了从需求、设计、开发到运维的全面线上化、平台化管理。既可以满足当前湖仓一体的建设,也可以满足未来数据应用的建设。


通过湖仓一体使数据有序、高效、高质、安全在数据湖及数据仓库进行流转。深入的进行内外部数据的融合、批量数据与流式数据的融合、账户数据与交易数据的融合、结构化数据与非结构化数据的融合。


2.全面提升数据管理能力

系统统筹全行数据管理需求,持续推进数据治理,驱动全行级数据使用、分析、治理的服务能力升级,充分实现数据资产价值。全面深化数据治理工作,优化数据治理体系、建设数据治理制度,制定数据标准、提升数据质量、强化数据安全、明确数据责任,全面提升数据管理能力。


3.提升数据资产管理能力

构建主题明确、服务完善、权责清晰的数据资产管理体系。通过自上而下的业务流程分解和自下而上的系统数据梳理,开展数据资产盘点,形成全行范围的数据资产目录和数据地图。统一管理行内数据资产和外部数据资产,通过数据资产服务的形式提供服务,充分释放数据要素在全行业务中的价值。 


4.提升数据分析能力

基于湖仓一体的技术支撑,拉通行内外数据资源,构建全业务领域的数据分析体系。建立并持续优化的分析指标体系,打造多维度数据标签体系,全面赋能零售、公司、金市业务发展与风险管控,提升数字化应用水平。 


5.提升数据服务能力

持续优化数据应用,建设数据服务体系,扩大数据服务范围,提高数据服务效率。通过建设数据应用集市,引入 BI 分析报表、数据挖掘引擎、模型实验室、人工智能等先进技术及工具,搭建数据服务综合平台,提供智能化数据服务,并通过统一服务封装、订阅和应用,全面赋能业务发展,攻克业务痛点与瓶颈。

本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】

推荐阅读

更多

甘肃农信:数据治理与数据管控平台

通过对我行内部数据的商业应用和技术管理的一系列政策和流程的梳理及设计,搭建一套涵盖元数据管理、数据标准、数据质量、数据资产管理等方面的数据治理及管控平台,赋能银行数字化转型。 通过实施数据治理和建立数据管控平台,满足人行、银保监会等监管机构的各类监管标准、安全分级标准、监督检查及其他各项要求,提高甘肃农信数据质量和业务数据的应用价值。

2022年第六届农村中小金融机构科技创新优秀案例评选 甘肃农信 2023-04-04

中信银行:数据治理实践

大数据时代下,数据的大规模、多样化、快速实时、内外结合、混合架构等特征,对数据治理提出了更加复杂严峻的新挑战,同时在监管部门的驱动下,银行数据治理的广度和深度不断扩大。中信银行采取积极主动姿态,从战略层面高度重视数据治理工作,已经把数据治理明确写入新的三年战略规划,纳入了董事会年度报告。

2018第二届农村中小金融机构科技创新优秀案例评选 中信银行 2023-04-04

农业银行:基于大数据+AI体系的数据治理实践

基于大数据和AI体系的数据治理是银行业实施大数据+AI战略的重要基础和保障,它对数据价值挖掘、产品创新、服务创新、数字化转型等工作提供重要支撑。

网络整理 中国农业银行研发中心 2023-04-04

大连银行:数据治理体系落地及数据管控平台建设

近年来大连银行基于业务条线视角陆续建设了众多信息系统,但数据孤岛问题、数据质量问题突出,无法形成企业级的数据资产、数据价值难以发挥。在2019年启动全行级的数据治理工作的大背景下,大连银行从体系规划、组织架构及管理制度、数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据生命周期管理、数据需求管理、数据服务管理十个层面来开展数据治理工作,形成了制度、流程和系统“三位一体”的数据质量管理体系,大大提高了全行数据质量,促进全行业务系统功能优化升级。

2021第二届城市商业银行数字金融与支付创新优秀案例评选 大连银行 2023-04-04

广发证券:数据治理探索与实践

广发证券从2016年开始启动数据治理工作,全面构建数据治理管理体系,推动治理体系的有效运转与技术能力的落地应用,逐步实现长效的数据治理机制。

网络整理 王永强 方伟 杨展昆 张洁彬 2023-04-04

新数科技:ShinData DSC数据库安全管控平台

ShinData DSC是基于权限管理和高性能操作的数据库开发和安全一体化平台,提供高危拦截与人工审批、敏感数据动态脱敏、水印及下载权限管控等多功能,替代原有的传统桌面端开发工具,满足开发、运维、管理三个角色的数据操作和管控需求。

2024年“鑫智奖”第六届金融数据智能优秀解决方案评选 新数科技 2023-04-04

案例库

金融行业全面的数字金融创新案例,涵盖历届“鑫智奖·金融机构数智化转型优秀案例评选”、“农村金融机构科技创新优秀案例评选”、“城市金融服务同业案例征集活动”等科技创新参评案例

  • 数据治理
  • 数据库
  • 数据体系建设

微信
咨询

微信咨询

扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构