一、项目背景及目标

随着5G时代的到来及人工智能、人脸识别等新兴技术的创新发展，网络建设环境改善，银行传统业务模式在不断的更新，互联网视频技术，使银行传统实体营业厅模式突破限制，实现客户足不出户通过视频线上办理相关业务，银行服务逐渐向线上化、移动化、智能化发展。为了更好的拓宽常熟农行银行金融服务覆盖范围，提升客户体验，部分业务由线下转为线上化，节约经营成本，为客户提供全方位的金融服务。

银保监会多次发出重要通知，强调了通过远程、线上、视频为客户和企业提供金融服务的重要性。2020年2月，中国银保监会发布《关于进一步做好疫情防控金融服务的通知》，要求各银行保险机构“积极推广线上业务”，“优化丰富‘非接触式服务’渠道”。这一政策直接影响了银行业离柜交易金额的增长，从2019年的6.3%提升至2020年的12.2%。而《关于银行业保险业数字化转型的指导意见》为银行业保险业数字化转型提供了具体的指导和方向，推动银行业全面进入数字化经营的新阶段。此外，中国人民银行发布的《金融科技发展规划（2022—2025年）》为新时期银行数字化转型发展勾勒蓝图、明晰脉络，对正在积极筹备数字化转型工作的各类银行指引了方向。由此可见，随着互联网技术的发展，线上渠道已成为越来越重要的银行金融服务渠道，而新冠疫情的出现，更是加速了这一趋势，促使银行业向数字化转型。疫情限制了线下金融活动，改变了用户金融业务办理习惯，使得线上渠道与“非接触式金融服务受到市场的普遍关注。相关部门也要求银行保险机构积极推广线上业务，优化丰富“非接触式服务”渠道。

从市场变动来看，互联网公司技术能力及生态建设水平超过银行，金融“换”媒浪潮动摇银行市场地位，迫使银行业加强数字化转型以保持竞争力。银行业IT投入也在逐年稳步增加，技术进步与银行业高度契合，推动了数字化转型的进程。客户的需求也在逐渐变化，随着“适老化”服务趋势的发展，越来越多的客户既希望能通过线上足不出户地办理大部分银行业务，又希望可以享受人工服务办理带来的便捷性和安全性。在这样的大环境下，建设远程银行，构筑线上营业厅，打造银行音视频基础设施显得尤为重要。

音视频基础平台作为我们银行的核心基础设施，承担着全行级别的音视频服务能力支撑的重要角色。这一平台的建立和完善，预示着我们银行将在未来实现线上线下业务场景的无缝融合，为银行业务的全面数字化转型奠定坚实的基础。

在未来的发展蓝图中，音视频基础平台将发挥其强大的技术优势，全面构建一个高效、便捷、安全的虚拟营业厅环境，它将突破传统物理网点的限制，通过先进的音视频技术，为客户提供一个全新的金融服务体验。客户将能够通过多种渠道，例如手机应用、网页平台、智能终端等，轻松接入银行服务，实现业务办理。此外，音视频基础平台还将支持客户随时随地、随心所欲地办理各种金融业务。无论是账户查询、转账支付、贷款申请还是投资理财，客户都可以通过音视频平台享受到即时、个性化的服务。这种灵活性和便捷性将极大地提升客户满意度，增强客户粘性，同时也为银行带来更多的业务机会和市场竞争力。

随着音视频基础平台的不断优化和升级，我们银行将能够更好地适应数字化时代的需求，为客户提供更加丰富多样的金融服务。这不仅能够满足当前客户的需求，还能够预见并适应未来市场的变化，确保我们银行在激烈的市场竞争中保持领先地位。

综上所述，音视频基础平台的建设和发展，将是我行数字化转型战略中的关键一环。它将助力我们银行实现业务流程的优化、客户体验的提升以及服务模式的创新，为银行的长远发展注入新的活力。

目标：打通电话和视频端，可以通过5G消息拉起视频，在消息之中包含预留数据信息方式，利于对数据采用端到端的深度神经网络模型（语音识别模型），通过分层特征学习机制实现语音信号到文本的复杂映射关系建模，同时节省了在视频端的沟通内容；对于客服环境统一，通过数字人虚拟背景和数字人形象及语音或文字驱动数字人的功能进行处理特定业务。

二、创新点

项目在建设或推广应用等方面的创新点

采用数字人形象对外进行展示，包括文字转数字人语音和客服声音转数字人语音。

完成之后可以缩短客服人员的培训时间，以及后续柜面等人员也可以快速上手视频客服，为精细化管理提供助力；该系统可以减轻目前客服人员的压力，并提供专业高质量的服务。

技术优化：加强AI语音识别的环境适应性训练，推动系统集成，实现多渠道互通。

人工协同模式：在复杂业务场景保留人工接入选项，通过智能导航+人工兜底的模式提高服务流畅度。

创新的技术：

智能化技术应用：借助生物特征识别、OCR、语音识别等互联网技术，智能线上营业厅在客户身份识别、资料审核、交易确认等环节实现智能化、自动化，提升银行对客户洞察的能力和精准服务的能力。

音视频通讯全流程业务办理：系统提供音视频通讯全流程业务办理，并结合多种不同方案灵活结合以及在线协同能力，展现出更丰富的业务场景。

生物识别平台：系统结合生物特征平台，运用全栈式人工智能服务能力和全行特征及算法库，包括活体识别、人脸识别，OCR识别，ASR等语音识别技术，提高交易安全性和便捷性。

创新的设计

生态圈银行建设：打造或嵌入生态圈对银行具有战略价值，通过提供线上化基础金融服务+线上营销服务提高客户粘性，提升客户体验。

业务模式：可以将有丰富经验的电话坐席人员或柜员等同时接管视频坐席。

虚实结合服务：考虑应用虚拟数字人、自然语言理解、智能语音、智能知识库技术，通过虚拟形象引导客户全时自助完成高频次、短流程业务办理，减少客户排队等待时间，有效提升客户体验。

客户图谱技术：运用知识图谱技术，基于智能营销中心，通过客户基础业务画像，形成客户图谱，让客服快速了解客户，方便提供财富诊断和产品推荐。

三、项目技术方案

线上营业厅基于音视频基础平台开发，项目技术方案以音视频端和线上营业厅两个部分介绍本项目。

（1）音视频基础平台整体架构

图 1 音视频基础平台整体架构

如上图所示，腾讯云金融音视频互动中台支持本地私有化部署，支持虚拟机、物理机、容器等多种方式部署。满足支行网点的VTM、STM等设备通过私有化平台直接与行内视频坐席通信，实现整个音视频媒体流及业务交互。同时提供链路优化解决方案，能够有效支撑行内在业务大规模爆发期的音视频会话延时、卡顿、花屏等问题，为行内远程视频银行业务的政策通信及办理提供有效保障。腾讯云金融音视频互动中台混合云部署模式，能够支持平台私有化部署，同时能够提供公有链路优化加速解决方案，平台能够支持一键式开关模式，支撑行内未来的业务应用和发展需求。

腾讯混合云部署模式能够实现客户在行内内网、外网等不同环境下发起互动视频会话的能力；支持通道传输的智能接入与调度，根据客户实际情况就近接入链路优化通道，且支持在当前链路优化传输通道网络阻塞时自动切换通道，保障音视频会话质量。

1）银行内网

腾讯云金融音视频互动中台：

基于腾讯TRTC及私有化音视频能力平台构建银行金融音视频互动中台平台，整个应用平台私有化部署在行内，提供VC（VideoCenter）平台、VB（VideoBranch）平台、双录平台、监控平台等整套应用，能够支持行内实现对柜员、业务等的全方位管理。

私有IM及音视频能力平台：

基于腾讯私有化IM及音视频能力平台，能够满足行内内网音视频平台的接入需求，赋能网点的智能设备，提供音视频会话的接入能力。整个IM及音视频能力平台部署在行内，实现客户端与座席端的IM信令流及音视频会话媒体流的传输并完成整体的业务融合双录解决方案。

2）银行DMZ专区

正反向代理服务器：

正反向代理服务器用来实现外网用户及内网坐席之间的IM通信转发，行内坐席不直接与互联网建立通信，保障音视频会话安全。利用两台服务器分别部署nginx，可用F5进行负载，如果没有F5，用keepalive(需提供虚ip)实现整个平台高可用方案。

音视频网关服务器：

音视频网关服务器是用来满足内外网音视频媒体流的交互转发，利用两台服务器分别部署音视频代理，推荐使用F5进行负载，如无F5，需另外提供两台4C/8G服务器。部署nginx进行负载，实现高可用方案。

3） 互联网区

腾讯TRTC公有云音视频通信调度集群：

腾讯云基于腾讯18年的IM经验和底层音视频技术，在全球提供1300+音视频通信节点，能够实现集中统一的调度及管理，智能匹配最优接入节点，支持千万级并发的接入。

腾讯TRTC公有云链路优化能力：

腾讯云基于全球1300+音视频节点，组网及部署方案统一视频平台支持灵活的网络部署方式，能够支持链路优化方案，满足客户在国内外不同地域，不同运营商（大型：联通、移动、电信；小型：长城宽带等）网络下正常进行互动视频业务交易，支持水平扩展，有效应对业务变化或突发异常，可以很好的适应复杂的网络环境，单集群系统容量大于2万坐席并发能力，满足行内业务发展需求。

互联网接入能力：

腾讯云金融音视频互动中台混合云部署模式除了提供链路优化解决方案外还能够支撑普通互联网接入行内坐席的能力，用户在手机银行、微信小程序、网银等外网设备及渠道不通过腾讯TRTC链路优化传输通道，直接通过电信网络接入到DMZ代理服务器，实现内网坐席与外网用户的视频会话。

（2）关联系统分析

图 2 关联系统

（3）业务处理流程

图 3 业务处理流程图

基于音视频平台的线上营业厅系统建设要点如下：

（1）微服务架构设计：

l 划分服务：根据业务功能和领域边界，将营业厅系统拆分为多个微服务，包括 客户信息管理、呼叫记录管理、业务记录管理等。

l 服务通信：设计并实现微服务之间的通信机制，采用 RESTful API 或消息队 列等方式实现服务间的异步通信。

l 服务治理：考虑使用服务注册与发现、负载均衡、熔断器等机制，确保微服务的稳定性和可用性。

（2）日志上报功能设计：

上报方式：采用文件上传的方式，上报异常情况，同时在出现错误时，实时调用接口上报错误信息。

接口设计：定义日志上报服务与其他微服务的接口，包括客户信息管理、呼叫记录数据等服务的数据交互接口。

后管界面：在后台管理系统新增一个菜单，查询上报情况。。查询结果应包括客户号、上传时间、上传端(Android/IOS/WEB/MINPRO)、上传方式（0-文件1-接口），错误码以及错误描述。

（3）数据管理和同步：

数据同步机制：确保日志上报系统和其他微服务之间的数据同步，可以考虑使用事件驱动的方式实现数据同步。

数据一致性：设计并实现数据一致性检查机制，确保日志上报系统和其他微服务之间的数据一致性。

（4）安全与权限管理：

访问控制：设计并实现访问控制机制，限制用户对敏感数据和功能的访问权 限。

数据加密：采用数据加密技术，确保日志上报系统和其他微服务中的敏感数据在存储和传输过程中的安全性。

（5）性能和可扩展性：

 性能优化：设计高性能的采购系统架构，包括优化数据库查询、使用缓存等 方式提升系统的响应速度。

 可扩展性：考虑业务增长和系统负载增加的情况，设计可扩展的系统架构， 支持水平和垂直扩展。

（6）测试和部署：

 单元测试：编写并执行日志上报系统各个模块的单元测试，确保功能的正确性和稳定性。

集成测试：进行日志上报系统和其他微服务的集成测试，验证系统各部分之间的 交互和协作是否正常。

2.2 应用数据仓库技术和数据集成技术，提供线上营业厅的原始数据

图 4 线上营业厅业务原始数据提供

如图所示，线上营业厅系统为我行服务业务系统之一，主要负责提供客户服务的业务原始数据，本期将根据业务需求，为提供原始数据至数据仓库。分析和整合各个数据源，包括客户咨询记录、服务请求、交易明细、账户信息等，确定数据集成的方式和流程。设计ETL流程，负责从各个数据源中提取数据、进行清洗和转换，然后加载到数据仓库中进行存储和分析。考虑到营业厅系统的特点，可能需要设计多维度的数据模型，以支持不同维度的数据分析和报表生成。

2.3 应用数据接收与处理技术，创建5G消息

图 5 创建5G消息流程

具体建设要点如下：

（1）5G消息系统数据接收设置：

配置消息服务器，确保安全传输数据。

设置5G消息系统用户权限，限制只有授权用户才能发送和接收数据。

确保服务器的稳定性和可用性，考虑高可用方案以应对服务器故障。

（2）数据接收与处理流程设计：

设计数据接收流程，包括数据上传至5G消息服务器、接收5G消息服务器上的数据、进行数据解密等步骤。

设计数据处理流程，包括数据清洗、转换、加载（ETL）等步骤，确保数据质 量和一致性。

考虑实时处理和批处理两种方式，根据业务需求选择合适的数据处理方式。

（3）架构设计：

确定线上营业厅通用会话创建5G消息的整体架构，包括数据存储、数据处理和数据展现等组成部分。

 根据业务需求选择适当的数据仓库模型，并设计相应的数据模型。

（4）数据质量管理：

设计并实施数据质量管理策略，包括数据清洗、去重、校验等，确保数据的 准确性和完整性。

建立数据质量监控机制，定期监测数据质量指标，并及时进行数据修复和处 理。

2.4 加入通用会话

图 6 加入通用会话流程

如图所示，具体设计开发细节如下：

（1）数据整合与共享：将线上营业厅系统与客户服务平台进行数据整合，实现客户信息、服务记录、业务办理情况等数据的共享和同步更新。这样可以确保客服人员获取到最新的客户信息和业务办理情况，提高服务的针对性和效率。

（2）风险评估与策略制定：基于客户服务平台积累的客户信息和服务记录，结合线上营业厅系统的业务办理历史数据，建立完善的客户风险评估模型和客户服务策略。通过数据分析和挖掘技术，识别出潜在服务风险和客户优先级，制定针对性的服务方案。

（3）多渠道联系和协作：结合客户服务平台的多渠道客户接入和服务功能，线上营业厅系统应支持多种联系方式，包括电话、短信等，以便及时与客户取得联系。同时，线上营业厅系统应支持内部各部门之间的协作，如与技术支持、客户经理、客服等部门的信息共享和沟通。

（4）智能服务技术应用：利用人工智能和机器学习等技术，对客户进行智能识别和分类，实现自动化的服务流程。例如，通过自然语言处理和情感分析技术，对客户的需求和满意度进行评估，自动分配给适合的客服人员进行跟进。

（5）个性化服务方案：根据客户的特点和业务办理历史，制定个性化的服务方案和业务办理计划。通过客户服务平台提供的客户画像和数据分析结果，了解客户的偏好和需求，为其量身定制有效的业务办理方案，提高业务办理率和客户满意度。

（6）实时监控和反馈：线上营业厅系统应具备实时监控和报告功能，监控服务效果和业务办理情况的实时变化，及时调整服务策略和方案。同时，系统应向管理层和相关人员提供详尽的服务数据和报告，支持决策和持续优化。

（7）合规性和风险控制：在服务过程中严格遵守相关法律法规和行业规范，确保服务活动的合规性和合法性。同时，加强对潜在服务风险的监控和管理，及时采取措施防范风险。

线上营业厅在音视频基础上升级了技术架构，路由策略，融合了数字人等技术，加快了数字化转型，总结如下：

技术架构：

前端：5G消息入口、视频会话客户端（支持WebRTC实时通信）。

中台：语音处理模块（ASR）、NLP引擎（意图分类+NER）、数字人渲染引擎。

后端：分布式微服务架构（业务逻辑处理、用户数据库、会话状态管理）。

电话与视频服务融合-5G消息触发视频呼叫：消息内嵌加密Token传递用户ID、业务类型等参数，实现无感跳转。

本方法的路由策略：  

原电话客服直接接管视频，保持对话连续性。

技能呼叫：根据业务类型（如信用卡面签）路由至专业视频坐席。

状态同步：通过Redis实时更新坐席忙闲状态，防止冲突。

数字人客服应用：

形象统一：预置标准化数字人形象库（性别、年龄可配置），虚拟背景适配银行品牌VI。

语音驱动：TTS合成语音同步驱动口型与表情（使用Viseme技术）。

文本辅助：坐席输入文本实时转换为数字人语音输出，支持紧急接管。

语音识别层：ASR模型输出文本流，实时去除冗余词（如“嗯”“啊”）。

意图分类：基于预训练模型（如RoBERTa）识别“贷款查询”“账户解限”等标签。

实体抽取：金额、日期等关键信息结构化存储。

需求生成：模板化拼接（例：{业务类型}+{实体}+{问题}）供坐席快速响应。

四、项目过程管理

五、运营情况

图 7 2025年第一季度视频交易汇总

从2025年1月1日截至到2025年3月31日，云视频电子银行密码维护60笔，手机银行号码维护328笔，视频密码重置1408笔，云视频水电广维护 9笔，子女账户信息审核 669笔，短信通知撤约54笔，凭证挂失/解挂57笔，小微首次提款面签1135笔。

六、项目成效

社会效益：

提升服务效率：通过线上营业厅的数据同步和客户服务策略的优化，项目有助于提高客户服务的效率和满意度，降低了金融机构的服务投诉率，减少了因服务不周而导致的损失，保障了金融机构的声誉和健康发展。

提升资源利用效率：通过客户服务报表及数据分析，项目提供了对客户服务业务的全面了解和数据支持，使得金融机构能够更加精准地进行资源调配和服务优化，提升了资源利用效率，促进了金融市场的良性发展。

提升服务质量：线上营业厅系统的建立和完善将有助于提升客户服务的质量和效率。通过建立完善的业务流程管理系统，可以更加有效地管理客户服务业务流程，从客户信息管理到服务计划执行再到服务反馈跟踪，都能够更加系统化和高效化地进行，提升客户服务工作的效率和质量，推动行业稳步向前。

经济效益：

高频业务场景：覆盖密码重置、信用卡面签激活、账户非柜面限额提额等20+核心银行业务，支持日均10万+次视频会话处理能力。

业务流程优化：面签、调额等复杂业务平均处理时长可从10分钟缩短至6分钟，效率提升40%。

资源利用率：通过数字人替代基础咨询坐席，可将人力成本降低40%，单坐席日处理量可从80件提升至120件。

直接成本节约：按中型银行年节省人力及运营成本超300万（按50坐席规模测算）。

服务可及性及节约隐形成本：可提供7×24小时数字人服务覆盖率可达100%，非工作时间业务受理量占比提升至35%。

七、经验总结

本项目在音视频平台的基础上构建了智能化、多模态融合的客服系统，实现电话与视频服务的衔接，通过5G消息、深度学习及数字人技术提升服务效率与用户体验，满足银行等金融机构在密码重置、身份核实、面签激活等场景下的业务需求。

为客户带来了方便，针对高频交易如密码重置等优化服务入口缩短了用户路径，带来显著的经济效益和社会效益，客户满意度提升等。

同时也面临着挑战和应对：主要是针对于用户隐私担忧，为此需要服务全程录音录像，针对客户隐私数据脱敏处理，确保数据安全。

未来的优化方向：通过用户行为预测主动推送服务入口（例如检测到频繁查询时推荐数字人业务视频顾问）；允许第三方接入，如政务平台等，拓展“政务+金融”一站式服务。