项目背景及目标

核心日终批量作业是银行核心业务系统中的极为重要组成部分，是否在指定的窗口时间内正常结束，对整个银行的正常运营至关重要。而很长时间以来，核心系统的日终批处理采取的是较为落后的人工作业调度方式，存在调度任务多、处理时间长和容易出错等多方面的问题。为了优化日终批处理的效率和稳定性、简化日终批处理日常运维管理的复杂度和工作量，同时满足未来业务扩展对批处理作业增加的带来的性能、效率和安全性等各方面要求，有必要考虑采用自动化的方式，通过科学的作业管理机制，提高作业效率、降低管理成本和规避作业失败的风险。

为此广东农信决定建设核心系统批量调度项目，经过调研和评估，终决定引入新的调度工具，并全面优化现有的日终作业任务。结合目前的现状，本项目的具体建设目标为：实现包括存款、贷款、总账等全部核心日终批量作业调度的集中管理、集中配置、集中操作、自动化、标准化、规范化，降低人为操作差错，提升核心系统运行操作整体的管理水平；同时，在本项目中全面梳理日终作业内容，通过功能和时序的优化，进一步降低日终处理耗时，缩短跑批时间，把一些大批量长耗时多交互的任务拆出日终窗口，实现核心系统24小时任务调度， 保障以核心系统为主的整个银行系统群稳定可靠运行。

项目方案

核心日终批量调度系统引入了BMC的批量调度软件Control-M工具，在该工具的支持下，完成了核心日终作业和优化重组。该工具包括了代理、域管理器等功能组件。组件化的产品设计，可以支持更为灵活的软件部署，本项目中采用的是双机热备模式，客户端与服务器分离部署，代理与目标机器分离部署。

1、系统逻辑架构

Control-M是一款跨平台的批量作业调度管理软件，在服务器上安装服务端，在核心卡主机上安装代理。代理通过MQ服务进行目标主机的调度。代理可以提交由Control-M定义好的作业流，并返回结果。 服务端可以全面监视所有批量作业的运行情况，可以有多种方式控制JOB的运行条件和过程干预。

Control-M作为企业级集中作业调度管理解决方案，它集中地管理跨平台、跨应用的生产控制调度过程，该解决方案的核心是：按照业务逻辑自动调度和提交作业；实时监控和分析作业运行状态、运行结果；基于运行结果自行进行作业的后续处理。调度工具使用代理进行作业任务调度，与目标主机进行了安全和服务上的隔离，做到了安全性和性能上的统一。

核心批量调度系统架构如下图所示：

Control-M有可视化图形终端，有服务端与客户端；EM是Enterprise Manager的简称，主要提供用户可视化界面的服务，如job的设计、管理、监控界面，具有标准图形化接口，跨平台统一管理，具备支持接收FTP和MQ等文件和消息流的调度触发指定机制。

平台提供图形化的开发环境，批量作业开发组可以通过此环境规划批量作业的执行流程，实现流程定制；

代理部署在核心卡系统，建立服务与业务系统间的信息交互，管理、提交、监控、控制和管理作业。

2、系统网络拓扑

系统网络拓扑图如下：

调度系统的入口是生产区的堡垒机，需进行访问权限控制。服务器通过内嵌的Web服务，实现基于浏览器方式的操作，满足操作员集中监控管理的目标。

3、物理部署架构

在物理部署上，采用了双机热备模式，以满足系统异常时快速、可靠的切换。平台支持集群功能，部署时采用集群模式，避免单点故障，实现负载均衡，保证业务安全。并通过与集中监控平台的集成实现错误信息、邮件、短信的多途径展示及发送。

物理架构图如下图所示：

4，核心客户化改造

针对核心系统，项目组花费了大量精力梳理了日终所有作业的依赖关系，聚类分析，划分了5大模块，并优化各大模块中耗时瓶颈的作业，调整时序，提高并发度，主要优化工作如下：

1），归集重空模块的处理；

2），优化日夜环境的SOD；

3），优化存、贷、CTA、内部账的逻辑处理，提高并发度；

4），启用压缩每日账户计提分录功能；

5），优化账务处理；

6），优化机构撤并功能；

7），改善清理规则和优化数据库访问机制；

项目创新点

项目建设的创新点主要体现在：

(一) 作业模块化和高并发设计

梳理了核心日终1000多个作业，重编制了规范的作业名，利用数据库技术梳理各个作业的业务依赖关系，所有作业按不同的模块重新编排，当前编排了五大模块：日终准备、EOD处理、日终账务、SOD处理、日终结束。

充分考虑现有软硬件资源，在保证模块独立性的前提下，提高输入和输出数据文件的重用性，模块内部作业按业务关系并发执行，从而使各日终作业模块更加充分地利用系统资源，有序地通过调度工具快速完成。

（二）自动监控和孤悬检查

通过支持对各个作业实时监控报警，根据业务和系统影响，对报警分类登记，在紧急情况下，可以“一键停止日终”。为了提高系统的容错性，实现了部分作业重跑机制。

引入了孤悬检查机制，该检查设计了多进程处理模式，分布式部署，孤悬检查进程作为被监控作业的影子进程，与被监控进程同步启动和结束，其本身执行出错不会影响调度任务的继续，若被监控作业运行异常报错，可通过该机制提前报警，为后续应急处理预留更多的处理时间窗口。

（三）智能记录和机器学习

对整个调度任务，引入了机器学习的功能。当每个批次的作业运行完成后，会自动登记作业的运行结果，将作业信息、开始时间、结束时间等数据记录，待系统自学习一段时间，采用算法预估整个调度和关键作业的完成时间。

（四）多方位的事件驱动调度

引入多方位事件驱动调度机制，除了常规的时间到达触发，新引入了多方位的事件驱动调度，如文件传输，MQ消息。通过与其他系统的文件交互、MQ信息的传递，调度软件能接收全面多方位的事件驱动，达到各种事件驱动调度作业需求。

（五）详细的作业调度分析

系统通过WEB浏览器方式实现数据报表和图形报表的展现，查询，输出和打印。支持包括数据库、文件、日志文件、企业应用程序，ODBC、JDBC、Hibernate，JNDI连接等多种形式的数据连接方式。报表设计器直观可视化，快速方便，容易使用。 通过拖拽数据列到格子，来设计报表。提供多种图形化报表样式。系统有多种输出格式。支持WORD， PDF， HIML， EXCEL，纯文本文件等格式。支持邮件发送。支持动态的将报表转换成DHTML，可以通过客户端浏览器查看和打印，利用独创的缓存机制，支持超大数据量的显示。

技术实现特点

本项目充分利用了目前有限的软硬件资源，完成了目前核心日终10000多个步骤的作业依赖关系调整，不但提升了日终效率、降低了日终运维成本，也加强了监控和容错处理，从而实现了日终各批量作业调度的集中管理、集中配置、集中操作、自动化、标准化、规范化，降低人为操作差错，提升核心系统日终运行操作整体的管理水平是本次项目的总体建设目标。

以下为本系统的主要技术实现特点：

(一) 简化了繁杂的日终运维操作

通过引入BMC的批量调度软件Control-M工具，并进行客户化改造，在该工具的支持下，使得整个日终作业调度实现了“一键跑批”，并具备重跑、暂停、跳过等功能，简化了之前繁杂的日终步骤调度管理，实现了核心日终1000多个作业的自动调度管理和可视化操作，提升了行内的运维管理能力。

（二）优化了核心日终作业

梳理了核心日终1000多个作业，重编制了规范的作业名，梳理了各个作业的业务依赖关系，所有作业按不同的模块重新编排。通过对作业的优化，进一步提高了日终的处理效率和健壮性。

（三）支持灵活的参数化配置

通过内置的规则引擎为调度系统提供了配置管理、参数管理、监控报警的相关功能。还引入了参数控制，使作业可以根据日期时间、特殊日子、特定情境进行调度。

（四）24小时候任务调度

为了缩短跑批时间，把一些大批量长耗时多交互的一些任务拆出日终窗口，实现核心系统24小时任务调度，尤其是把与第三方系统文件交互，以及实时联机交互的任务，放在白天实时处理，或将任务接收之后指定时间执行，保障以核心系统为主的整个银行系统群稳定可靠运行。

项目过程管理

项目实施的关键里程碑阶段如下：

1、需求分析和概要设计阶段

此阶段时间段为2016年5月至2016年8月，期间主要完成了调度工具客户化设计、核心日终时序的并发调整和技术架构的高层设计。提交了软件规格需求说明书、核心日终作业依赖关系时序图、技术架构和接口的高层设计等文档，确定了操作系统、数据的选型以及工具的HA方案。

2、系统详细设计阶段

此阶段的起始时间为2016年9月到12月，期间主要完成了系统详细设计工作，提交了系统详细设计说明书等文档。

3、系统编码测试阶段

此阶段起始时间为2017年1月至2017年6月份，期间完成了系统编码、系统测试、性能测试，提交了系统测试报告、性能测试报告。

4、并行测试阶段

此阶段起始时间为2017年7月至2017年12月份，期间完成了与生产环境的并行对比测试，提交了对比测试报告

5、系统投产和运行阶段

此阶段起始时间为2018年1月至2018年2月份，期间完成了项目的投产，分别验证了核心日终、机构撤并等功能，确认了账务的正确性，提交了上线方案、系统应急手册、运维手册等文档。

项目体验情况

一、系统运行体验

（一）界面体验。该系统监控界面友好直观，各作业模块划分明晰，功能设置合理，易于用户管理操作。可以快速捕捉系统运行情况，可以制定各种运行报表，实现了监控报警和预评估功能。在运行速度及稳定性方面，系统登陆、重启、时序的定制生效，系统运行较为稳定，无崩溃、卡死、响应超时等异常现象出现。

（二）功能体验。该系统实现了核心日终的自动化，达到了“一键跑批”的目标，提高了作业处理效率、节约了管理成本、规避了作业失败的风险，更合理的利用系统资源根据各个作业的依赖关系运行日终，保证了账务的正确性；实现了预评估功能，该系统带有自学习功能，运行若干天，可以评估到各个作业和整个日终的完成时间，提高了运维人员的工作效率；可以预定制各种报表，有利于核心日终的调优。

（三）安全体验。该系统与监控平台相连，带有报警功能推送功能，一旦系统异常，可以*****时间通知运维人员；能根据工作需要对不同角色进行灵活配置操作权限；该系统可以设置集中输出屏显的日志，方便运维人员调查问题。另外，系统自动记录操作员操作信息，同时加强外部监控，大大降低操作风险，有效保障客户信息安全。

项目运营情况

在投产后的几个月运行中，核心日终运行时间减少了1小时之多，保障了大集中核心系统“保开门”的基本要求；杜绝了运维人员的操作错误，系统使用率100%；可以灵活设置特殊的作业任务，在特殊日子，可以关闭相关作业；

通过核心批量调度系统的建设，推进了广东农信各个系统管理工作的水平，逐步走向标准化、规范化，大大提高系统运行的稳定性，提升了用户的体验，帮助农合机构树立了良好的声誉和形象，市场竞争力持续提升。

项目成效

核心批量调度系统的建立，提高了核心系统日终的安全性和稳定性，节约了人力成本，规避了操作风险，减少了核心日终跑批时间，保障了核心系统“保开门”的基本要求，也为我中心其它系统接入该调度工具提供有力的支持。

一、 经济效益

通过已投产的核心批量调度系统，有效防范核心日终各种操作风险，降低了系统监控和运维管理的成本，一定程度上弥补了运维人数的不足；增加了各种报错机制，更好的监控了核心系统账务的情况，能够更快更及时处理账务问题，一定程度上减少了由于系统异常而带来的经济损失。

二、 社会效益

建设核心批量调度系统，提高了核心系统日终的安全性和稳定性，减少了核心日终的运行时间，进一步保障了大集中核心系统“保开门”的基本要求，为我中心其它系统运行和监管报送提供了保证，使网点柜员体验到系统的稳定性，提升社会公共服务水平，保障高水平金融服务质量，起着重要的影响。

当今社会，科技是*****生产力，金融业尤其如此，科技就是生命力。核心批量调度系统的建设，给我中心其它系统的监控和运维管理树立了典范，为其它系统引入调度工具提供了有力的支持。在二期规划中，在核心批量调度平台上，引进了自主开发，使得特殊任务可以定时、保质的完成，为扩展广东农信特色业务提供了技术保证。通过运用新思维、新方式和新技术研发出功能丰富、特色的理财产品，丰富了我省农合机构的金融服务方式，增强了机构的服务综合竞争力，提升了机构的金融品牌和形象。

经验总结

核心批量调度系统，属于关键业务系统内部运行效能的重大优化改进范畴，也是基础运维管理工作的优化。由于项目的复杂度和重要性，项目实施历时一年之长，项目组投入了近半年的时间，模拟过去日终出现的各类场景（存贷结息日、月末、季末和年结等），并与生产环境进行了大量的测试验证，通过科学的测试方法和严谨的工作态度，终保证了项目顺利完成投产。

项目涉及核心整个日终各个业务模块的功能优化，涉及各个开发团队的协同配合，在投产前，通过会议沟通，落实具体责任人，制定了详细的并行测试方案和对比方案，为后期的投产工作执行提供了清晰思路，保证了项目的正式投产上线的质量。在项目组成员和各部门领导同事的积极配合下，核心批量调度项目顺利完成投产，完成了项目既定目标。

信息交流

由于篇幅有限，项目内容未完全展开，如需项目更多信息，请关注如下微信公众号与我们联系。