一、项目背景及目标

数字经济时代，数据要素已上升为国家数字化战略的核心重点，晋商银行积极响应国家数字化战略，为解决数据“共享难”、跨部门“协同难”、质量问题“辨别难”等痛点，促进数据“内增值、外增效”的价值变现。数字金融部对全行数据进行了系统性的全面摸排：识别并盘清现有数据资产，分类并编目现有数据，识别数据质量问题，规范数据合规性，评估数据安全有效性，挖掘数据潜在价值，制定数据治理策略。基于前期的多方调研，确定了全行的数据架构，经充分探讨确定外部数据管理平台在全行数据架构的定位并制定新版可推行全行的外部数据管理办法，基于平台的定位与管理办法构建适配的外部数据管理平台，实现全行外数统一管理、标准服务，为管理提质增效，为业务发展赋能，为决策提供依据。

二、创新点

晋商银行“远川”外部数据管理平台采用微服务架构、主备数据库对外部数据的整个生命周期（引入、接入、使用、存储、退出）进行全方位监管。通过规范年度预算，需求管理和采购管理等流程对数据引入进行管控，通过数据接入、数据服务、数据授权等流程对数据接入进行管控，通过数据地图、异常监控、质量监控对数据使用进行管控，通过大数据隔离、最小授权、数据分级分类、访问控制与身份验证相结合等办法对数据存储进行监管，通过质量评估、合规监测、企业监管对数据退出进行考核，使得数据引入有章可循，可追溯；数据接入有条不紊，权责分明；数据使用合规高效，安全可控；数据存储有序安全，备份完备；数据退出及时彻底，确保隐私。从而促进数据资产的全部流通环节管理高效、权责明晰、复用率高，实现价值最大化。主要创新技术及创新模式包括以下方面：

1.以服务业务角度出发、提高了数据管理的效率和精细程度。除了提供基本的渠道接入功能外，还在外部数据预算管理、质量管理、共享管理、连续性管理等方面做了优化和功能补充。尤其对外部数据调用流向、实时用量、预算用量等可以按归口系统、部门、产品实时呈现，更好地满足精细化管理需求，明晰需求部门权责、准确计量经营绩效、提升运营决策效率。

2.通过运用多种创新技术为数据管理、分析和应用提供了全面解决方案。通过数据安全管理技术，根据数据的需用部门权责归属划定系统接口服务权限，秉承最小必要原则，减少数据丢失或泄露的风险。通过图形化界面技术、数据可视化技术不仅让数据更直观易懂，还帮助管理者迅速识别异常和问题，挖掘数据的管理价值和业务价值。自动化数据质量管理则确保了数据的准确性和完整性，大大降低了人工成本和错误率。这些技术的综合运用，极大地提升了系统附加值，赋能管理决策数字化。

3.积极响应国家号召，落实金融业关键信息基础设施国产化。主要体现在按监管要求推动信创生态的建设与落地，硬件适配国产化服务器设备、国产化网络设备、国产化存储以及软件适配国产化操作系统、国产化数据库，同时完成现有系统物理架构的优化、配置、历史数据迁移到信创环境数据库与适配。

三、项目技术方案

（一）项目规划

1.项目目标

构建一个具备外部数据的自动化获取、整合、处理与分析能力，具备高效、安全、可持续扩展特性的外部数据管理系统。

2.需求分析

调研管理层对外部数据的管理期望，包括流程管控、数据分级分类、数据安全、数据保密、数据使用效率等。

调研各需求部门对外部数据的期望，包括数据类型、数据量、数据质量等。

分析现有的数据处理流程，明确现有处理流程与期望的差距，基于差距，确认系统改造的点，改造的步骤，改造的周期等信息。

3.技术选型

数据采集技术，如API接口、FTP等。数据存储技术，开发自动化解析工具并对接国产数据库。使用流程编排的架构模式用于数据处理和分析等。

（二）项目实施

1.数据采集

根据需求，开发数据接入模块，实现配置化的接入外部数据源、获取数据并对接入的数据进行初步清洗和验证，确保数据质量。

2.数据存储

利用关系型数据库存储和备份。设计合理的数据分区和索引策略，提高数据查询效率。

3.数据处理

编写数据处理脚本、对数据进行清洗、转换和整合。根据业务需求构建数据，使用编排式的源数据进行数据加工。

4.数据服务

开发统一标准的数据服务接口，方便内部部门访问和使用数据。提供数据可视化工具，方便用户直观地查看和分析数据。

5.监控与运维

构建系统的监控和告警机制，确保系统的稳定运行。

提供系统的运维工具和方法，方便运维人员进行系统维护和管理。

（三）技术架构

1.数据采集层

负责从外部数据源获取数据，并进行初步的数据清洗和验证。支持多种数据采集方式，如API接口、FTP、数据库连接等。

2.数据存储层

利用关系数据库，实现数据的分布式存储和备份。支持多种数据存储，如结构化数据、非结构化数据存储等。

3.数据处理层

利用元数据编排的方式，支持数据处理与整合。

4.数据服务层

提供数据服务接口，方便各用户访问和使用数据。支持多种数据服务方式，如API接口、数据可视化工具等。

5.监控与运维层

构建系统的监控和告警机制，确保系统的稳定运行。提供运维工具和方法，方便运维人员进行系统维护和管理。

（四）业务功能

1.数据服务

提供外部数据的接入、存储、处理和分析服务。根据部门需求提供定制化的数据解决方案。

2.定制化开发

根据部门内具体需求，提供定制化的数据管理系统开发服务。

提供系统的二次开发和定制化功能开发。

3.数据合同管理

包含合同管理、文件管理、部门预算管理、财会计提管理等内容；

4.行内系统管理

包含部门管理、系统管理、产品管理、渠道管理、场景管理、数据用户管理、系统用户管理等内容；

5.数据异常监控

包含合同临期监控，部门预算监控、接口失败监控、合同费用预警、定时任务异常监控等内容；

6.数据质量监控

包含质量问卷，质量监控配置，质量评估报告等内容；

7.数据地图展示

包含数据接口树状展示、接口对接文档、接口计费规则、接口数据质量、服务对接文档，返回码值与样例报文、数据分类管理等内容；

8.数据复用管理

包含报文树状展示、请求结构化落地、返回结构化落地、落地表展示、联机查询等内容。

四、项目过程管理

“‘远川’外部数据管理平台”项目按照需求阶段、立项阶段、商务阶段、设计开发阶段、测试阶段、投产阶段分阶段进行过程管理：

（一）需求阶段

1.需求讨论与分析

在需求阶段，与业务部门、风险管理部门及科技部门进行了深入的沟通和讨论，明确了平台需要整合的外部数据类型、数据接入方式、数据处理流程以及业务应用场景。同时，进行了市场调研，分析了行业内的最佳实践和技术趋势，为项目的技术选型提供了依据。

2.业务需求与软件需求评审及修订

根据讨论和分析的结果，编写了详细的业务需求说明书和软件需求规格说明书，并组织了多轮评审会议，邀请业务部门、风险管理部门、科技部门以及外部专家参与评审。通过评审，不断修正和完善需求文档，确保需求的准确性和完整性。

3.需求确定

经过多轮评审和修订后，最终确定了项目的需求范围，并与业务部门签订了需求确认书，为项目的后续工作奠定了基础。

（二）立项阶段

1.工作量评估及报价

在立项阶段，根据确定的需求范围，对项目的工作量进行了详细的评估，并制定了合理的报价方案。同时，考虑了项目的风险因素和不确定性，为报价预留了一定的弹性空间。

2.外包委审议

由于本项目涉及的技术复杂性和时间紧迫性，决定采用外包方式进行开发。为此，组织了外包商评审会议，对候选外包商的资质、经验、技术实力等进行了综合评估，并最终确定了合适的合作伙伴。

3.立项资料准备与费用请示发起及审批

准备了完整的立项资料，包括项目需求文档、技术方案、预算计划等，并向行内相关部门发起了立项费用请示。经过严格的审批流程后，项目成功立项并获得了所需的资金支持。

（三）商务阶段

1.商务采购

在商务阶段，与选定的外包商进行了商务谈判，确定了合作的具体细节和合同条款。同时，进行了供应商的资质审核和背景调查，确保合作的安全性和可靠性。

2.合同签订

经过多轮协商和修订后，与外包商签订了正式的合作合同，明确了双方的权利和义务、项目交付标准、验收标准以及违约责任等关键条款。

（四）设计开发阶段

1.详设编写

在设计开发阶段，根据需求文档和技术方案，编写了详细的设计文档和代码规范。同时，组织了设计评审会议，对设计方案进行了全面的审查和评估。

2.编码开发

在编码开发过程中，严格按照代码规范和设计要求进行开发，并进行了严格的代码质量控制。采用了代码审查、单元测试等手段确保代码的质量和可维护性。

3.FAT测试与代码评审

在功能测试阶段（FAT测试），对系统的各项功能进行了全面的测试和验证。同时，组织了代码评审会议，对开发完成的代码进行了质量评估和安全性检查。

（五）测试阶段

1.UAT测试

在用户验收测试（UAT测试）阶段，邀请了业务部门和风险管理部门的用户参与测试，对系统的易用性、稳定性和业务功能进行了全面的验证。根据用户反馈不断修改和优化系统，确保系统能够满足业务需求。

2.安全测评

为了确保系统的安全性，组织了专业的安全测评团队对系统进行了全面的安全检查和漏洞扫描。根据测评结果对系统进行了相应的安全加固和修复工作。

（六）投产阶段

1.投产测试

在投产阶段，组织了投产测试工作，对系统的稳定性和性能进行了全面的测试和验证。模拟了实际生产环境中的各种场景和情况，确保系统能够稳定、高效地运行。

2.投产上线

经过严格的测试和验证后，成功地将系统投产上线，并进行了全面的监控和维护工作。与业务部门和风险管理部门保持密切沟通协作，确保系统能够稳定运行并满足业务需求。

五、运营情况

（一）推广应用情况

在用户反馈：通过部门调研和满意度调查，了解到部门对系统的整体满意度较高，认为系统能够帮助他们更好地管理和利用外部数据。同时，各部门也提出了一些改进建议，如增加某些功能、优化界面设计等。根据这些建议对系统进行了持续改进和优化。

培训与支持：为了确保各部门能够充分利用系统，提供了全面的培训和支持服务。通过线上和线下的培训课程，向用户介绍系统的使用方法和技巧。同时，还设立了客服团队和技术支持团队，随时解答各部门在使用过程中遇到的问题。

（二）系统运行情况

系统稳定性：系统自上线以来，运行稳定可靠，未出现重大故障或宕机情况。采用了先进的技术架构和稳定的存储数据库，确保系统能够处理大量的数据请求并保持高性能运行。

数据处理能力：系统具有强大的数据处理能力，能够快速、准确地处理各种类型的数据。利用数据处理算法对外部数据进行整合和分析，为部门提供有价值的数据质量分析。

安全性：高度重视系统的安全性，采取了多种安全措施来保护数据的安全。首先，采用了严格的权限管理和数据加密技术，确保数据不被非法访问和泄露。其次，建立了完善的安全监控和告警机制，及时发现并处理潜在的安全威胁。

可维护性：系统具有良好的可维护性，方便运维人员进行系统维护和管理。提供了丰富的监控和日志工具，帮助运维人员快速定位和解决系统问题。同时，还建立了完善的文档和培训体系，确保运维人员能够熟练掌握系统的使用和维护技巧。

六、项目成效

1.经济效益

外部数据管理系统的实施在经济效益方面带来了显著的成果。以下是几个主要的方面：

成本节约：通过数据获取、整合和处理，各部门能够减少数据的使用带来的成本和人工操作的时间。此外，系统的高效性使得数据处理和分析的速度大大提升，进一步降低了运营成本。

资源调度：系统能定期同步各部门产品数据使用成本，供各部门分析自身对客产品的绩效，方便各部门合理分配有限资源，提升资源的利用效率。

效率提升：系统能够实时、准确地处理数据，为各部门提供快速、准确的数据支持。这有助于各部门更快地抓住市场机遇，提高业务效率，从而在竞争中获得优势。

业务增长：通过外部数据，各部门能够发现新的业务机会和增长点。这些机会可能来自于客户群体或新的产品/服务。通过实施外部数据管理系统，各部门能够更好地利用这些机会，实现业务增长。

风险降低：系统能够帮助银行识别和评估潜在的风险，如市场风险、信用风险等。通过提前预警和制定应对策略，各部门能够降低风险带来的损失，保护银行利益。

2.社会效益

除了经济效益外，外部数据管理系统的实施还带来了显著的社会效益：

促进数据共享：外部数据管理系统能够实现数据的集中存储和管理，方便不同部门和机构之间的数据共享。这将有助于打破信息孤岛，促进信息的流通和利用，提高整个社会的信息化水平。

提升社会效率：通过整合、分析外部数据，各部门能够更好地使用外部数据，制定更加精准的产品和服务策略。这将有助于提高社会资源的利用效率，提升整个社会的生产效率和生活质量。

综上所述，外部数据管理系统的实施在经济效益和社会效益方面都带来了显著的成果。随着技术的不断发展和应用的深入推广，相信这些成果将会得到进一步的扩大和提升。

七、经验总结

1.项目建设经验

需求分析与规划：在项目初期，深入进行需求调研，明确各部门对外部数据的需求、数据类型、数据量和数据质量等要求，确保项目目标与各部门实际需求相匹配。制定详细的项目规划，包括技术选型、系统设计、开发计划、测试计划等，确保项目按照既定目标有序进行。

技术选型与架构设计：根据项目需求，选择合适的数据接入、存储、处理和分析技术，确保系统能够满足各部门对外部数据的管理需求。设计合理的系统架构，包括数据接入层、数据存储层、数据处理层和数据服务层等，确保系统的高效性和可扩展性。

开发与测试：严格按照开发计划进行编码工作，确保代码质量和开发进度。进行全面的系统测试，包括功能测试、性能测试、安全测试等，确保系统的稳定性和可靠性。

部署与上线：制定详细的部署计划，确保系统能够顺利部署到生产环境。在上线前进行充分的验证和测试，确保系统能够正常运行并满足业务需求。

持续优化与迭代：在系统运行过程中，根据各部门反馈和实际需求，不断优化系统功能和性能，提升用户体验。定期进行系统迭代，引入新技术和新功能，保持系统的先进性和竞争力。

2.项目推广经验

展示系统优势：在推广过程中，充分展示系统的优势和特点，如高效性、安全性、可扩展性等。

持续跟进与沟通：与各部门保持密切联系和沟通，了解他们的需求和反馈，及时调整接入策略并提供技术支持。