一、项目背景及目标

基于AI数字人及实时音视频技术的远程银行是甘肃银行一个特大的基础类项目，是科技规划的一个重要内容。平台利用AI数字人技术，在后端，依托运营管理平台的知识库体系，对知识库进行持续更新和业务数据分析，统一规范线上业务流程，降低操作风险，提高甘肃银行内部控制和内部管理水平，甘肃银行根据自身的整体战略目标和信息技术发展规划，在广泛汲取国内外同业成功经验的同时，结合甘肃银行的资源现况，启动和实施了基于AI数字人及实时音视频技术的远程银行项目。该项目具有以下特点：

1、能够突破网点地域限制，扩大金融服务半径，为无法临柜办理业务的客户提供“随时随地，非接触式”的便民金融服务，提高客户业务办理效率以及满意度。

2、有力推动全行业务创新和拓展能力，为获客留客创造有利条件，提升对外服务水平，增强整体竞争力。

3、为部分业务办理增加线上渠道，简化客户业务办理操作，增强业务自动化处理能力，提高业务处理效率，优化线上、线下资源配置。

二、项目/策略方案

1、系统应用架构

远程银行系统采用 SOA 设计理念，采用成熟的软硬件平台和技术，符合银行的IT设计架构和要求。采用组件化及松耦合的设计思想，模块之间相对独立，便于进行独立验证而不影响其他模块的正常运行。系统对外提供Web Service接口、API接口、SDK等接口；支持大容量用户访问，实现视频数据的存储、检索、回放等操作；采用集群控制，方便集中管理，具备数据备份功能。

远程银行系统支持微服务架构，分布式微服务平台支持其他系统的后续接入，远程银行系统系统分布式微服务平台功能：微服务网关、微服务注册中心、微服务运行监控、交易链路跟踪、微服务依赖分析、日志收集与异常告警；支持虚拟化平台与容器部署。

远程银行系统系统支持应用系统级自动负载均衡、高可靠性集群技术方案，实现服务动态分配，实现系统动态地进行横向和纵向扩展；横向扩展实例或机器时不影响正常运行实例。支持扩容。性能上应能满足未来3~5年的业务发展要求；以及同时在系统访问量比较大、数据较多情况下，实现负载均衡的效果；系统支持两地三中心部署。远程银行系统系统集成部署架构支持X86架构、分布式集群部署。

图 1.应用架构

2、系统安全架构

远程银行系统能够保证网络安全、系统安全和数据安全，整个系统配置和构建了可靠实用的安全策略和机制，有预警功能。根据不同的业务要求和应用处理方式，设置不同的安全措施和环节，既满足业务管理、业务授权以及流程管理中的业务安全性要求，同时要保证集中管理的数据安全，并对用户采用身份验证和权限控制，为系统提供全面的安全防御措施。有完善易查的日志功能，便于进行审计跟踪非法操作，保证用户不受非正当侵害。支持互动视频媒体流传输加密，支持国密算法，保障数据传输安全；支持API请求HTTPS加密；支持防DDOS功能，保障互动视频会话安全；支持敏感数据脱敏，保障业务信息安全；支持密钥行方自管理，行方控制加密密钥，保障客户端密钥在生成、传输、存储、使用等全过程安全，满足监管要求。

图 2. 安全架构

3、系统关键技术特点

运用实时音视频技术，在业务办理高峰、网络抢占等情况下，选择优传输链路建立音视频会话，不仅解决了跨运营商、跨区域链路通信时易出现的卡顿、延时高等问题，同时显著缩短了音视频数据实时传输时间，为远程视频银行的业务开展奠定平台基础，实现客户和视频柜员线上“面对面”。

运用双录视频AI质检技术的视频画质检测、智能语音交互、人脸在框检测等能力，对双录视频的实时码率、帧率、丢包率、视频质量、视频柜员话术进行AI质检，监测视频柜员业务话术错读漏读、操作流程不规范、音视频黑屏、音话不同步等问题，提升业务办理过程中双录视频质量，减少人工复核操作，节省人力成本。

运用音频 3A 处理技术（回声消除AEC、噪声抑制 ANS、自动增益控制 AGC），提升音频质量并将延迟时间控制在毫秒级，确保业务办理过程中客户的优质体验。

运用人脸核身技术，在获得客户授权的前提下，在视频交互过程中抽取视频帧数据与OCR 识别的身份证信息进行图像比对，并结合短信验证和活体检测核实客户身份，提升业务办理的安全性和合规性。

运用AI数字人坐席技术，依靠数据中台的数据分析及检索能力，可实现机器人自动接听、自动挂断及自动转接等服务。AI数字坐席拥有自动服务全生命周期，可实现机器人就绪、服务、离线等全生命周期自动转换。机器人坐席能够实现远程银行的自动接听、自动挂断、自动转接等服务能力，满足不同业务场景下机器人自动会话的服务诉求，同时能够支持在异常情况下转人工坐席服务能力，提升客户服务体验。系统通过与VR、短视频、直播技术的集合提供VR场景下的创新入口，客户可通过实际的VR虚拟背景场景里享受银行提供的服务，也可以通过创新的短视频、直播等形式观看我行的产品，改变了原有的图文消息的交互模式。

基于AI数字人及实时音视频技术的远程银行内置流程执行器，根据可视化设计器的配置执行相关流程动作，完成自动化业务处理。基于AI数字人及实时音视频技术的远程银行提供标准机器人坐席服务，可实现机器人自动接听、自动挂断及自动转接等服务。机器人坐席拥有自动服务全生命周期。可实现机器人就绪、服务、离线等全生命周期自动转换。同时能够支持人工控制干预能力，手动控制机器人激活或下线。机器人坐席能够实现智能双录的自动接听、自动挂断、自动转接等服务能力，满足不同业务场景下机器人自动会话的服务诉求，同时能够支持在异常情况下转人工坐席服务能力，提升客户服务体验。机器人坐席服务提供虚拟工作台服务，能够实现语音播报、字幕、数字人、资料推送、数据交互、多轮对话、挂断等功能，可实现自动会话过程中互动作业服务。

AI数字人及实时音视频技术的远程银行提供业务佳实践-合规反欺诈引擎，可实现人脸在框、人脸同框、人脸活体、人脸相似度等合规检测服务，能够根据同业合规反欺诈检测要求和经验提供佳检测能力匹配，确保业务安全。基于AI数字人及实时音视频技术的远程银行内置流程调度器，根据流程请求进行任务分配，调度流程执行器执行任务。

三、创新点

甘肃银行远程银行综合采用流媒体、trtc实时音视频、AI智能质检、音频3A处理等技术打造远程视频银行服务，客户可通过线上渠道即可办理社保卡及借记卡激活、信用卡激活、借记卡密码修改、个人信息维护、对公开户法人意愿核实等金融业务，突破物理与空间的限制，提高客户体验以及办理业务的效率。

（一）技术应用创新

1、基于trtc实时音视频技术搭建远程视频银行服务，使用全平台互通的高品质实时通话技术，采取智能路由选择策略，通过监控全网节点的业务高峰、网络抢占等情况，选择优传输链路，解决了跨运营商、跨区域链路通信时卡顿、延时高的问题。缩短音视频数据实时传输时间，使平台拥有较强业务连续性和时效性。

2、利用回声消除与噪声抑制算法保障高音质音频传输，音频 3A 处理（回声消除AEC、噪声抑制 ANS、自动增益控制 AGC）、音视频对抗弱网（抗丢包）等底层音视频技术，可以达到4K超高清晰度视频通话的画质并且将端到端的延迟时间控制在毫秒级。实现了对音视频数据源码进行消除回声、降噪、防丢包等处理，提高音视频数据的质量。

3、运用SOA架构、分布式、集群部署，系统处理效率高，资源占用率低，支持单双屏松耦合设计，具备高扩展性能力。支持不同业务渠道的复杂视频应用场景，确保业务的安全和风险可控性。

（二）功能服务创新

1、渠道创新方面，本项目将音视频技术与银行业务办理相结合，将客户原本需要全程在网点办理的业务，通过线上渠道远程视频互动的形式进行办理，协助银行解决网点资源忙闲不均、网点运营成本高的问题，为客户提供更加便捷、更高效率的服务。 

2、身份验证方面，通过视频通话过程中随机截取的图像帧与OCR识别出的身份证图像对比，并与公安联网核查系统进行客户身份“实名实人”验证，保证是客户本人办理业务。

3、安全性方面，通过国密算法端对端加密，数据的存储保持小化原则，数据显示脱敏多种技术手段，保证数据在传输、存储、加密、签名过程中的安全，全方位加强客户个人信息隐私保护。

4、便民服务方面，结合音视频实时沟通，面对面交流，消息推送，降低客户在渠道短自主操作难度，使客户不受物理条件、知识背景限制，随时随地享受标准化、无差别的个人金融服务，提高客户体验以及办理业务的效率。

四、项目过程管理

基于AI数字人及实时音视频技术的远程银行项目由甘肃银行总行计划技术信息部牵头，信息技术管理部金融渠道开发中心负责实施。基于AI数字人及实时音视频技术的远程银行项目的实施配合甘肃银行项目群实施的计划，采用试点实施和推广的分阶段方式。主要经历了以下几个阶段:

2021年12月，项目任务书下达。

2022年2月，需求分析完成。

2022年3月，提交系统详细设计说明书。

2022年6月，开发完成，完成上线准备。

2022年6月，试点行上线。

2022年7月，正式对客完成。

1、需求分析和概要设计阶段

此阶段时间段为2022年1月至2022年2月，期间主要完成了业务需求分析、业务功能和技术构架的高层设计。提交了现状需求分析报告、各功能模块的高层设计、技术构架和接口的高层设计等文档。

2、系统详细设计阶段

此阶段起始时间为2022年2月至2022年3月，期间主要完成了系统详细设计工作，提交了基于AI数字人及实时音视频技术的远程银行系统详细设计说明书等文档。

3、系统编码、测试和上线准备阶段

此阶段起始时间为2022年3月至2022年6月，期间完成了基于AI数字人及实时音视频技术的远程银行系统客户化开发的编码、测试以及试点行上线准备工作，提交了基于AI数字人及实时音视频技术的远程银行系统测试报告、上线方案、系统设置等文档

4、试点行上线阶段

此阶段起始时间为2022年6月初至2022年6月底，期间完成了系统试运行上线，并根据试点行上线运行的情况，为推广实施提出了优化需求。

5、推广实施阶段

此阶段起始时间为2022年7月，完成基于AI数字人及实时音视频技术的远程银行项目实施严格按照总行项目管理相关制度，从计划、质量、双录等多方面进行规范化管理，项目终如期完成。至2022年7月底，全部分行投产上线。

五、运营情况

甘肃银行基于AI数字人及实时音视频技术的远程银行，利用流媒体视频服务集成能力，为我行提供客户业务办理真实身份、真实性意愿审核时的线上支持，把账户服务业务、贷款业务、理财业务、信用卡业务、对公开户等一些传统模式下需要到网点办理的业务，逐步迁移到线上，打造“有温度、有深度、有广度”的线上远程视频营业厅服务。

我行的远程银行项目，紧扣普惠金融服务开展，通过远程银行平台建设线上互动金融场景，以填平和客户的数字鸿沟，解决老年人、弱势群体和异地客户线上化的视频交互需求为重点，持续拓展“金融+服务”的生态场景建设。利用人脸比对、活体检测、OCR识别、实时音视频数据流加密等金融科技能力和AI技术，把银行服务开到老年人的家里去，围绕老年客户的需求痛点展开业务创新，解决线下业务线上化身份核实难、互动效率低等问题，对服务场景、服务设施和服务产品进行“适老化”改造。

远程银行作为银行电子服务渠道的补充和升级，切实提高了我行服务客户的效率，降低柜台业务压力，提升服务质量，将甘肃银行更优质的金融服务带给更多的客户。同时，我行可通过人脸识别、联网核查、视频交互等手段有效核验客户身份，为客户提供个性化服务的同时，有效防范业务风险。同时平台还具备Web 登陆功能，使用非常方便，登录web监控运维平台后可以查看哪些柜员在线，或者正在与客户交互中，也可以查看通话痕迹和通话过程，对于客服人员的工作时长和工作效果有完整的记录和统计，可有效提升客服人员的服务质量，提升客户满意度。

经过三个多月的使用，平台使用方便、易用，体验良好，使用期间平稳运行。如我们帮客户办理的视频转账业务，当接通视频后，可一键启动身份核查流程，客户通过视频银行验证身份之后，口述办理得业务以及客户信息，由我中心客服人员将客户信息坐席端代输入，并发送至手机银行与客户端交互后完成社保卡激活功能。视频客服作为银行电子服务渠道的补充和升级，切实提高了服务客户的效率，降低柜台业务压力，提升服务质量，将甘肃银行更优质的金融服务带给更多的客户。同时，我行可通过人脸识别、联网核查、视频交互等手段有效核验客户身份，为客户提供个性化服务的同时，有效防范业务风险。

六、项目成效

（一）对行业贡献及影响

甘肃银行远程银行项目抓住了“金融科技”的指导思想，基于银保监“非接触式服务”和“居家金融”的建设要求，建设“线上金融”服务体系，充分发挥信息的主渠道作用，为各银行新核心建设引进“远程视频”、“人脸识别”等生物技术、探索营业网点智能化建设、打造智慧服务平台积累经验，为银行打造“5G+视频+AI”的金融营销与服务模式奠定基础：

提升银行客户办理业务效率。远程银行相较传统物理网点，运营成本低，客户接入便捷，服务主动性更强；相较电子银行，服务范围更广、服务体验更佳、服务联动性更强。

提升服务能力。可满足多种客户服务诉求，应对多种服务场景。将传统网点柜面的高品质服务延伸至客户身边，给用户带来更有温度的服务体验。可有效分担银行业务高峰期柜面业务办理压力，可解决部分人员无法到网点办理业务从而造成延长业务办理周期或无法办理业务的痛点。

提升效能。远程客服通过远程银行能快速获取客户个人信息并进行远程验证，通过后台集中化处理模式，有效缩短业务办理时间，提高工作效率，大效率利用银行现有人力资源。

（二）对社会贡献及影响

甘肃银行远程银行项目打造以视频化、场景化、专业化为特征的服务体系，全面提升客户体验与品牌形象，实现能力的跨越式发展，紧跟科技创新与发展的脚步。远程银行上线以来，不但获得了更多的新用户，更有效解决了许多不便前往物理网点办理业务的客户的业务需求，大大的增强了客户粘性。

随着音视频技术、人工智能、5G等技术的不断发展，疫情对于远程音视频需求的带动，金融行业中音视频应用也越来越丰富。甘肃银行远程银行项目也在不断升级，以满足银行在零售数字化转型、网点智慧化转型、音视频中台建设等多个方向的需求，起到在金融行业中的创新和带动作用，具有强烈的标杆和示范作用。

七、经验总结

甘肃银行基于AI数字人及实时音视频技术的远程银行，利用流媒体视频服务集成能力，为我行提供客户业务办理真实身份、真实性意愿审核时的线上支持，把账户服务业务、贷款业务、理财业务、信用卡业务、对公开户等一些传统模式下需要到网点办理的业务，逐步迁移到线上，打造“有温度、有深度、有广度”的线上远程视频营业厅服务。

我行的虚拟营业厅项目，紧扣普惠金融服务开展，通过远程银行平台建设线上互动金融场景，以填平和客户的数字鸿沟，解决老年人、弱势群体和异地客户线上化的视频交互需求为重点，持续拓展“金融+服务”的生态场景建设。利用人脸比对、活体检测、OCR识别、实时音视频数据流加密等金融科技能力和AI技术，把银行服务开到老年人的家里去，围绕老年客户的需求痛点展开业务创新，解决线下业务线上化身份核实难、互动效率低等问题，对服务场景、服务设施和服务产品进行“适老化”改造。