项目背景

随着信息化发展，银行业务信息化正在被广泛应用于业务管理中，对提高银行业务系统的响应速度、优化银行业务系统的工作流程起到了极大的推动作用。

在行内各系统的运维中，发现部分系统因功能缺陷、资料缺失、流程冗长等问题无法快速响应对数据的申请导出、变更及导入操作，为了能够及时、快捷地为各行社提供精准数据支持，安全、直接地变更各个系统实时数据,亟需开发一款能够对所有应用数据库数据进行申请导出、变更、导入的应用管理系统。该系统可为各行社客户精准营销、经营统计等业务提供数据支持，有利于更好地促进业务经营发展。

项目目标

系统的主要目标是在数据安全、操作安全的基础上实现对数据的申请导出、变更、导入三大主要模块。

应用层面：规范数据审批流程，提高作业执行效率, 缩短业务支持时间，提高数据质量，从而为产品市场化分析、客户精准营销等提供准确、规范的数据支持。

安全层面：对操作的每一个数据库，每一个用户，每一张表、每一个字段进行权限控制。对在系统内部的每一步操作进行日志记录，做到在系统中的每一步操作都有迹可循，在系统中执行的每一条作业都经过权限过滤、复核审查并记录入库。

项目方案

由于系统需满足不同数据库、不同用户及不同业务场景，故系统中大量服务通过动态配置完成，从而满足面对新的业务场景只需通过前台页面配置即可实现。

系统按功能不同主要分为数据申请导出、数据变更、数据导入三大模块：

在数据申请导出模块中，经过复核在拥有权限的前提下可通过录入参数自动生成作业并对作业执行结果以多种格式导出，同时按作业的执行时间，可分为实时、异步、调度任务等执行方式。

在数据变更模块中，可通过录入参数执行作业，经过复核在拥有权限且数据安全的前提下每次只能更改有权限的一条记录。

在数据导入模块中，支持按照数据库表自定义字段格式自动生成模板，经过复核在拥有权限的前提下系统会自动解析已上传模板内容并将数据存入表内。

系统包含基础功能如下：

1.  日常任务：主要包括查询复核申请、查询作业执行、更新作业执行、作业复核管理及数据导入管理功能组，实现了对作业复核申请、复核审批、作业执行功能。还包括作业调度管理、前置作业管理此类与调度任务相关的配置管理。查询作业执行后的生成文件可通过数据下载管理功能统一下载。

2.  查询管理：主要包括发布角色管理和执行角色管理两大功能组，实现对数据库用户及表进行权限分配从而完成作业编写权限、作业执行权限的配置。通过基础数据管理完成查询模块的参数化配置。通过作业配置管理里功能组完成作业的录入及发布。

3.  更新管理：主要包括数据角色管理、发布角色管理和执行角色管理三大功能组，实现对数据库、用户、表及字段进行权限分配从而实现对作业编写权限、作业发布权限、作业执行权限的配置。通过基础数据管理完成更新模块的参数化配置。通过作业配置管理完成作业的录入及发布。

4.  上传管理：主要包括数据角色管理、发布角色管理和执行角色管理三大功能组，实现对数据库、用户及表进行权限分配从而实现对作业编写权限、作业发布权限、作业执行权限的配置。通过基础数据管理完成上传模块的参数化配置。通过作业配置管理里的功能完成模板的生成及发布。

5.  日志管理：主体分为查询日志管理、更新日志管理和上传日志管理三大模块，每个模块又细化分为应用日志和作业日志。

6.  组织管理：主要包括组织机构管理及信息同步功能。能够对组织机构人员的权限配置、组织机构数据的同步刷新。

7.  权限管理：主要包括应用配置、菜单权限配置、授权管理、角色管理等系统基础信息配置管理。

项目亮点

1.  解决三大“难”：系统解决了原先因功能缺陷、材料缺失或提取周期冗长而导致申请难、提取难、变更难的问题。通过系统，可适配任意数据库进行申请、提取及变更操作。

2.  技术、业务分离：打破了原先业务人员申请通过后，技术人员编写作业、执行作业的操作壁垒。通过系统，技术人员编写作业下放后，业务人员即可自行直接执行作业，实时提取数据、修改数据，从而缩短了响应周期。

3.  降低人力成本、时间成本：通过优化组织结构、规范审批流程、自动化脚本执行。将原先的多人运维、纸质审批、手动查询变为单人运维、电子审批、自动查询。减少了运维人员数量，缩短了业务支持时间。

4.  多数据库实时查询修改：该系统可以通过前台配置连接所有有权限的数据库。经过对连通数据库的实例、表、字段授权，在对执行作业的复核审批后即可实现对该作业的抽取、修改。

5.  数据安全可控：系统对数据加有五道安全锁：

a)  数据权限控制：对于编写作业人员，所编写作业中能使用的用户、表、字段需通过授权配置。

b)  数据范围控制：对于执行的作业，每个作业会自动过生成数据范围加以过滤，操作员只能操作自己权限范围内的数据。

c)  作业权限控制：对于发布作业人员、执行作业人员，其所能发布、执行的作业需通过授权配置，每个人只能执行、发布自己拥有权限的作业。

d)  作业审核控制：对于执行的作业，需通过审核人员复核后才能执行。

e)  数据日志记录：系统中的操作、脚本都将被录入日志入库。

6.  运行参数动态可配：通过对系统参数信息配置，实现系统功能参数化的动态扩展，从而达到无需更改代码来适应不同业务逻辑的效果。

7.  高速缓存提高性能：系统高速缓存自动定时加载高频访问数据库表数据，通过缓存数据代替查询数据，从而减少数据库访问次数，降低数据库压力，加快查询速度，优化系统性能，减少网络开销。

8.  作业脚本自动识别：系统能自动分析作业录入脚本，分别抓取更新字段、条件字段、查询字段等关键信息。通过指定抓取字段输入项自动生成参数化执行作业。

9.  流程自动可控可视：复核流程全生命周期可通过图示直接查看。流程申请提交后，无需选择复核人员，系统通过匹配模型自动生成复核人员。通过图例可实时查看流程规则、流转节点、提交人员、待办人员等流程信息。流程启动后任意节点的流转可通过流程管理功能人为操作干预。

10.线程并行提高效率：大数据量导出生成文件时，系统通过配置信息将数据划分为多块，采用多线程并行导出，大幅提高导出能力和执行效率。

11.调度任务执行作业：由于部分申请导出作业对执行时间要求较高，故系统支持通过调度作业执行作业，并可配置前置条件，当调度满足前置条件才能继续执行，不满足前置条件则会按一定周期不断循环，直至满足前置条件或执行至当天结束。

12.面向服务架构：采用新一代符合SOA规范的面向服务架构，以服务层为基础，通过简单、精确定义的接口进行通讯，从而有效控制系统中与软件代理交互的人为依赖性，使业务系统更加灵活，来适应业务需求的不断改变。

项目成效

数据运维管理系统上线以来，完成了50000余笔数据申请导出业务，将原本一整套线下的数据申请导出流程通过线上完成，在节省时间提高效率的同时，通过设置调度任务及前置任务能够更加精准的生成数据文件。

与此同时，系统还完成了65000余笔数据更新作业，其中部分更新作业已下放至业务部门，使得有权限的业务人员在审核后能够直接变更实时数据。

为保障数据的安全，系统所有执行的作业都有详细的记录，每一条查询作业的详细sql，执行者等详细信息均记录入库。每一条变更作业的变更前值，变更后值等关键信息也已记录入库。从各方面保障了系统的运行安全，数据安全。

项目运营过程

数据运维管理系统自2017年11月20日上线以来，获得了用户一致好评。

数据运维管理系统实现了对所有配置库的数据申请导出、变更、导入。截至2018年10月31日，系统共运行查询作业50000余条，更新作业65000余条，每日固定运行的调度作业134个。

通过数据申请导出，完成对申请数据的快速查询导出，增强了对外提供数据的能力。

通过数据变更，完成数据的修正、补录，逐步提高数据质量，为产品分析、客户精准营销等提供准确、标准的数据支持。

数据运维管理系统在实际运行中，优化了数据申请导出流程，缩短了业务支持时间。

经验总结

结合数据运维管理系统在开发、实施过程中遇到的难题及解决方案做出了如下经验总结：

1.  作业长度过长

由于前期系统设计时将所有存放脚本字段的数据库长度设置为VARCHAR2（4000），系统上线在试运行时发现部分作业长度大于设计长度，导致作业无法正常存储，后将所有此类字段类型改为CLOB才解决此问题。

2.  多线程导出问题

系统在初设计时为提高系统效率采用了多线程生成文本的技术，即将大量数据划分为多块，每块由一个线程生成下载文本，在后一块数据文本生成后自动将所有文本生成压缩包提供下载。然而在实际试运行中发现，后一块数据生成完毕后，前面几块的数据还存在未完成状态，导致生成的压缩包缺少数据。后引入线程状态池，将所有线程状态放入池中，统一检查通过后再进行打包，从而解决了此问题。

本文由2017农村金融科技创新优秀案例评选组委会授权金科创新社发布，转载请注明来源信息！