一、项目背景及目标

为快速满足原银监会《关于对理财产品和代销产品专区销售及全面实施录音录像有关工作的通知》的要求，我行建设了双录系统并上线运行多年，支持对行内理财产品销售、代销产品销售、不动产登记等业务办理过程的录音录像。随着国内理财业务监管政策的不断变化、客户理财行为的快速转变，我行依托新金融科技技术启动双录系统升级改造。

近年来，国内语音识别、文档识别、证件识别、图像识别等智能识别技术快速发展并在金融行业

得到成熟应用，以智能技术为基础搭建的智能化双录与质检平台在银行业逐步开始应用。在保障用户体验的同时，并衍生出涵盖线上和线下智能双录与实时质检的新模式，在适应客户理财行为变化的同时，有效提升了银行自身的风险防控能力。因此，为全面提升我行双录合规能力，更好防范合规风险，带动双录业务的智能化转型，启动智能双录系统的建设工作。

本次系统建设内容主要包括三部分：

1.新建基础功能。建设企业级双录平台，满足全行音视频文件的采集、通讯、存储、质检及统一管理等；支持不同业务场景配置，场景双录流程差异化定制等。

2.打通业务场景。实现音视频平台与行内客户信息管理、产品系统、各交易渠道（不同渠道端产品信息、流程信息及音视频管理统一）的打通，双录操作自动关联客户信息及产品信息；实现业务流程执行与双录过程的强约束，进而实现线上和线下产品销售全流程。

3.提升智能化和自动化能力。通过利用人脸识别、OCR、语音识别、语音合成、文本分类、文本分析等AI技术，提升双录过程的自动化智能化程度，并为我行其他业务系统提供智能化服务和能力。

因此，项目目标是实现线上及线下产品销售双录全流程配置，打造智能双录一体化企业级解决方案。

二、创新点

1.质检种类丰富。包括影像质检、身份核验、语音识别和图像识别算法，综合应用人脸识别、OCR、ICR、手写签名、目标检测、行为分析、音视频技术等，适用金融领域多种双录审核业务。

2.审核速度快。AI审核极速反馈，辅助决策，全面缩短业务审核时间，相比人工审核速度提升10倍以上。

3.多维度定制稽核项。话术合规检测、人脸检测、多重身份核验等，预审结果自动标记定位，多功能辅助工作人员减少工作量，提高专注度。

4.质检精准率好。综合应用文本分析、机器学习、神经网络等技术，海量样本学习训练确保质检稽核准确性高，可靠性强。

三、项目技术方案

1.逻辑架构

本系统逻辑架构主要由七层组成：

（1）交互层。交互层为外部系统提供控制接口。

（2）事件定义层。定义系统相关的事件，事件基于SpringApplicationEvent分发。使用事件对系统模块进行解耦。

（3）控制层。控制层分为业务控制模块、服务监控模块和自检模块。

（4）服务层。将原子能力层组织成为一系列功能逻辑。

（5）视频作业中台。统一音视频系统提供了多种功能模块，通用房间服务，如已知业务中的会议模型功能、会控管理功能；互动服务，互动批注功能、屏幕共享功能；其他非业务功能支撑能力，安全体系、音视频质检、证据链服务和音视频组件库。

（6）原子能力层。提供基础的人脸检测、OCR、RTC接入、ASR、TTS、人脸识别、活体检测等能力。

（7）金融专属云。音视频底座能力，主要是为上游业务中台提供底层音视频通道、推拉流的数据中转以及AI对接能力等技术支撑。

2.技术架构

本系统技术架构主要由四层组成：

（1）展现层。可以支持小程序端、手机原生端、pc端和web端等多端接入。

（2）基础组件层。采用springboot框架，前后端分离，支持小程序端、手机原生端、pc端和web端等多端接入，通过本地录制服务实时将公有加速链路的音视频内容拉取到本地进行录制融合生成可视化文件。

（3）数据存储层。采用MySQL和MongoDB数据库做为数据持久化存储。本系统中MySQL用于存储核心业务数据，如双录基本信息、双录视频、用户机构信息、产品信息等，需要一定的可靠性和数据一致性；MongoDB具备水平可伸缩性和灵活性，且在处理非结构化数据时更灵活，速度较快，故用于存储双录过程中产生的对话信息、流程节点信息、全局人脸检测信息、视频打点信息等较大的数据。

（4）底座层。提供金融专属云传输通道，由于音视频传输使用了云链路加速技术，所以客户端sdk在上送媒体流时会先使用寻址算法选择优节点进行媒体流分发，利用专用的音视频通话高速公路、通过成熟大型的网络基础设施，来有效解决客户多运营商跨网、低延时、高并发接入问题。

3.部署架构

本系统部署架构要点是：

（1）双中心各部署一套双录服务。

（2）双录应用服务均部署在DMZ内区，分别为主控、后台管理、本地录制服务、融合双录服务、银行业务适配服务、视频质检服务、消息中心服务、自助核心服务、自助组件服务、人人双录服务、人人业务管理服务、临柜双录服务、临柜业务管理服务、AI计算服务。双中心中各自服务数量保持一致。

（3）双中心内部各自放置F5负载， F5挂载各自中心的服务内双录服务。

（4）设置内网全局统一智能DNS，DNS挂载双中心的F5。

（5）双中心连接同一个NAS盘。

（6）MySQL采用主备模式，通过Binlog将主库数据同步到从库。

（7）MongoDB采用副本集集群方式部署，双中心共用一套MongoDB。

（8）Redis在双中心各部署一套，通过redis-share异步同步数据。

（9）RabbitMQ双中心各部署一套，不做数据同步。

4.业务架构

本系统业务架构流程是：

（1）客户从互联网发起呼叫请求(TCP)，通过统一域名请求到DMZ外区的反向代理服务器；

（2）反向代理将客户的呼叫请求(TCP)转发到主控服务器，主控服务器对客户信息鉴权并进行路由排队等一系列处理；

（3）主控服务器处理正确的呼叫请求后，将信令流(TCP)发送到正向代理服务器去建立IM通道；

（4）正向代理服务器将建立IM通道的信令流(TCP)转发到金融云服务器获取IM的鉴权信息；

（5）主控服务器建立完IM通道后，将客户呼叫请求通知给座席端，座席端点击接听，将会话流(TCP)消息发送给主控服务器；

（6）坐席接听会话成功后，主控服务器调用行内加密平台，请求获取会话密钥(TCP)，用于对音视频流的加密处理；

（7）客户确认进入会话时，将会话房间的鉴权信息发送信令流(TCP)到金融云，并将客户自己的音视频媒体流(UDP)加密传输给金融云；

（8）坐席进入会话后，将坐席的音视频流(UDP)通过DMZ内区的iptables转发到DMZ外区的音视频代理服务器；

（9）DMZ外区的音视频代理服务器在进行鉴权后，将坐席的音视频流(UDP)转发到金融云服务器；

（10）客户与坐席全部进入会话后，客户端通过统一域名将双录交易流(TCP)发送到DMZ外区的反向代理服务器，反向代理服务器将交易流(TCP)发送到DMZ内区的双录服务器；

（11）双录交易处理时，双录服务器将会与行内其他关联系统进行接口交互(TCP)进行业务处理。

四、项目过程管理

在明确总体目标后，通过设置阶段性里程碑推动项目实施，其中：

1.需求分析阶段。2022年11月主要完成同业模式调研、项目可行性分析、需求分析等工作，并提交软件需求说明书。

2.系统设计阶段。2022年12月主要完成系统设计工作，并提交系统概要设计说明书、详细设计说明书以及项目实施计划等文档。

3.系统开发及测试阶段。2023年1月-3月主要完成系统开发、测试以及上线准备工作，并提交系统测试报告、上线方案以及系统操作手册等文档。

4.系统上线并试运营首个场景。2023年4月-5月主要完成系统上线，并投产试运营微信银行和手机银行渠道的人对人保险销售双录业务场景。

5.系统整体上线并运营多个场景。2023年6月-10月主要完成系统整体上线，并投产运营全面覆盖理财、资管、保险、基金、不动产、贵金属等现有销售产品或服务的双录场景。

五、运营情况

经过前期多方沟通和准备，我行根据实际情况选取部分分支行开展全流程业务试点。在实际业务环境中快速检验再造成果，同时深入查找环节衔接漏洞和系统运行问题。分支行测试阶段定期汇总并反馈数据信息，分析项目实施的效果、存在的问题和改进的空间，从试点结果再反向推进项目调整优化。

项目实施后，客户可通过微信/手机银行发起保险产品认购，全程录音录像，并依次进行客户身份认证、机器人产品介绍、风险揭示和提问、客户应答。与此同时，监测客户是否实时在框，审核回复是否符合预期答案。

六、项目成效

目前项目已在部分分支行试运营，通过运用语音识别、人脸识别、文档/证件识别、在框检测等智能技术，将现有“全人工双录与质检”的方式转向“智能双录、人工辅助+智能质检”，推动双录向智能化转型。后续逐渐实现全行约140家网点双录系统的全面升级替换，同时接入手机银行/微信银行，打造线上化双录平台。随着我行进一步加大财富类业务的营销力度，平台处理预计全年双录业务笔数超1万笔，双录金额超100亿元。

因此，本系统经济效益分析如下：

1.定性分析

1）效率提高。减少支行双录操作人员、分行质检人员的工作量，投入更多人力资源投向营销。

2）风险防控。通过双录流程的标准化，基于各类智能化识别能力，实现录音录像的实时质检，带动我行双录业务风控能力的快速提升。

3）体验提升。针对部分财富类业务，在监管政策支持的情况下，更好满足财富类客户对线上化的需求。

2.定量分析

1）成本节约。通过人员的释放，节约网点的人力成本。

2）经济效益。带动更多信托类、保险类等相关代销类财富产品的销售，增加我行中间业务收入。

七、经验总结

本项目建设推动全行网点与业务更加智能化，覆盖更多应用场景，同时通过业务的智能化带动人员的全面营销化，推动我行产品业务的整体快速发展。与此同时：

1.实现我行产品双录业务运营的转型。通过人工智能和大数据技术的运用，打造“智能双录+智能质检”的业务模式，实现双录的实时质检，减少支行双录操作人员、分行质检人员的工作量，提升业务效率，同时带动我行双录业务风控能力的快速提升。

2.极大提升我行双录业务风控能力。基于人工智能和大数据技术的运用，对双录过程实现全流程的标准化规范与实时质检，全面提升双录的合规性。

3.探索打造线上自助化的双录模式。针对信托类、保险类、对公开户类等相关业务，在监管政策支持的情况下，融入我行手机银行、微信银行等线上平台，打造客户自助化的双录业务模式，极大解放人力。