一、项目背景

伴随着大数据规模化应用，以及机器学习、深度学习算法上的突破，人工智能技术已全面迈进商业化阶段。近年来，山东省农信社积极拥抱数字化转型浪潮，开始广泛运用人工智能技术致力于提升用户体验、降低人力成本、提高中后台运营工作效率。一方面为满足老年、乡村地区人群、身体障碍等具有特殊需求群体的使用习惯和要求，山东省农信社亟需打造一套可提供语音语义服务能力的基础平台。另一方面，由于客户量的攀升以及客户需求的多样性，当前客服系统已无法满足个性化、高性能、全智能的服务体验，为解决系统功能单一、服务智能化水平低、客服运营成本高等问题，探索建设智能语音语义平台为客户带来全面智能体验，从而提升客服中心服务质量，降低运营成本，也为山东省农信社数字化转型打好基础，这对银行业务发展具有重要意义。

二、项目方案

我们把智能语音语义平台作为全行共享使用的智能中台系统来打造，运用语音识别技术、语音合成技术、语义理解等技术重新定义人机交互模式、创新服务体验，建设更具应用前景、更自然的人机交互场景和企业管理场景的人工智能新型服务产品。实现多渠道接入、个性化服务的总体目标，平台总体架构图如图所示：   

智能语音语义平台功能分布如下：

（1）数据层

数据层包括运行时数据和持久化数据。

运行时数据：

1）用户对话过程中产生的交互数据、状态数据，此类数据为缓存数据.

2）流程配置系统上线的流程及资源数据，此类数据是根据运营人员对流程及资源的上下线操作来维护的，上线即同步一份，下线则销毁。

持久化数据：

主要包括流程文件、配置资源、交互日志、语音文件、统计指标和监控数据等6部分数据。

（2）能力层

能力层主要对接智能能力平台并使用语音识别、语音合成、语义理解3大能力。

（3）应用层

1）中枢控制：包括交互引擎、流程引擎、规则引擎、接口任务调度和多轮对话。

2）流程管理：包括流程管理、流程编辑、流程校验、上线审核、资源管理和接口管理。

3）统一认证：作为所有应用的管理系统，负责统一管理用户，角色和权限，并能对所有关键功能的操作日志进行记录收集。

（4）适配层

1）多媒体适配系统：支持多媒体请求转换识别

2）多渠道接入控制：支持对接常见渠道，如电话、移动端APP等。

3）用户连接管理：支持用户请求有效性检查，并发数管理。

三、创新点

不同于服务输出较为“稳定”的技术中台与数据中台，山东省农信社的智能语音语义平台从事的“学习”与“预测”任务更加复杂，属于劳动密集型技术工种，需要多方参与实施并运行监控，根据数据演进频繁调整，将涉及模型训练工具、模型库系统、组合配置编排、弹性资源配置、发布运行管理等技术支撑。

山东省农信社智能语音语义平台建设的亮点为：

（1）能力储备丰富、功能复用性强。对于各类模型、算法的标准化纳管封装，面向各类业务应用场景提供丰富的可复用的能力。

（2）服务调用简易获得。面向应用开发者提供统一便捷的集成接入方式，支持界面式编排工具按需动态编排组合；面向业务人员界面式低门槛配置。

（3）提高数据可得性。与基础数据服务平台、数据中台形成对接，便捷利用数据资产，在预处理数据、训练、能力组合等环节提升了数据可得性。

（4）资源弹性统一管控。为纳管TTS、ASR、NLP等AI能力提供统一资源管理，并支持计算资源、存储资源等资源的弹性配置与调度。

（5）服务运行实时监控。对已发布的AI服务的在线运行性能数据提供统一的运行监控手段，并沉淀生产服务数据，用于后续模型的迭代调参与模型优化。

（6）开发与业务深度参与。构建AI开发流水线作业中各角色的参与协同环境，包括模型开发者、应用开发者、业务人员。

四、技术实现特点及优势

山东省农信社的智能语音语义平台提供语音识别、语音合成、语义理解和知识图谱等AI能力为服务层服务，并支持数据接入、能力训练、能力迭代、能力发布等服务。平台包括智能知识库管理和管理服务两个子模块。知识管理后台提供知识点管理、知识库优化、知识库检索、知识发现等子模块的服务。管理服务则提供用户管理、权限管理、流程管理、知识管理等子模块的服务。数据监控平台可对服务质量进行实时监控、对动态资源进行弹性调度。

山东省农信社的智能语音语义平台技术优势包括以下三个方面:

语音识别率高：我们的平台可对输入语音进行降噪解混响处理，提升音频的识别效果；还可对输入的音频流进行端点检测，确定说话的起始和终止位置，并进行同步识别处理。我们在一遍编码中主要利用DFCNN神经网络模型和BiLSTM神经网络模型，通过训练后将两个模型进行特征融合，得到可预测的文本信息。为了提升用户响应速度与保证识别效果，识别过程中系统还采用了二遍解码。我们把二遍解码后的结果经过标点预测、文本顺滑、文本分段等处理，终生成文本，二次编码大幅提升了文本的可读性。

（2）语义理解能力强：我们的平台将文法和CNN进行优势互补，既能快速迭代、又具备泛化能力。为了提升语义处理的整体效果，我们考虑基于已经存在的用户语料，通过自动聚类以及人工标注、模型训练等方式将用户语料反馈到NLU模型中，实现语义效果的持续提升。

（3）语音合成准确：我们的系统先经过前端的语法分析，然后通过词典和规则的处理，得到格式规范，携带语法层次的信息，传送到后端。后端在前端分析的结果基础上，经过韵律方面的分析处理，得到语音的时长、音高等韵律信息，再根据这些信息在音库中挑选合适的语音单元，语音单元再经过调整和拼接，就能得到终的语音数据。在整个转化处理的过程中牵涉到大量的中英文语法和韵律知识的运用，以及语法和语义分析的算法，佳路径搜索，单元挑选和调整的算法。

五、项目过程管理

山东省农信社于2022年9月启动智能语音语义平台建设，2023年3月完成系统设计、开发、单元测试、集成测试、性能测试、业务测试等工作，于2023年4月进行系统上线。

六、运营情况

目前，智能语音语义平台已平稳运行5个月，运营人员定期研讨数据分析，根据客户需求进行相关意图的补充与完善，满足不同人群不同需求的同时在智能化建设中不断积累经验，提升能力。

七、项目成效

（1）基于语音语义平台的移动端适老化应用

智能语音语义平台为智e通个人手机银行、智e购商城等移动端APP提供“语音识别、语义理解、语音合成等服务能力，使客户可通过说话的方式与APP进行人机交互，系统能够快速识别出用户的语言，通过对客户语言的理解，实现业务功能的快速定位。

当前移动应用(APP)的无障碍化普及率较低，对于老年人或特殊群体而言，存在界面交互复杂、菜单层级深、功能入口难寻（缺少引导）等交互问题。为解决上述问题，智e通、智e购等移动端APP借助智能语音语义平台的AI能力进行适老化改造，使移动APP具备语音播报和语音转账等适老化功能，更好的解决了特殊群体“用机难”问题。

（2）基于语音语义平台的智能客服应用

1）在传统的自助语音服务基础上实现智能化，有效满足不同年龄段客户的需求，实现语音业务直达，提升客户体验，传统客服主要为人工服务，人力成本较高，实现智能化后，客户分流率将达到10%-35%。有效降低了人工成本，将智能客服嵌入电话语音客服、在线客服、电子银行等服务渠道，将有效满足不同领域客户的需求，客户体验更进一步。

2）传统外呼大多为人工外呼，成本较高。智能语音语义平台让智能外呼成了可能，智能外呼业务增加了服务的业务品种，扩大了业务覆盖面，智能外呼使产品营销、贷款回访、债务催收、还款提醒、调查问卷、满意度回访等业务场景进行了优化升级，让客户得到了更好的用户体验，也降低了运营端的人工成本。

3）以前人工质检效率较低，通过智能质检可以对全量话务进行质检，再进行人工复检，在质检人员人数保持不变的情况下，话务有效质检率由3%提升到90%以上，极大提升客服代表服务质效。

4）将来该平台还可对接行内大数据平台，实现对客户的人物画像，针对不同的客户群体进行精准营销、个性化服务等。对运营数据的数据分析，帮助运营端进行决策推荐等。

八、经验总结

在当前的新时代下，信息技术的不断优化和创新使得我行也必须要加入到这场互联网和大数据的应用中来，研究银行的智能化服务，本身就是银行适应时代发展，优化服务质量，创新智能业务的关键一步，只有为客户提供针对性的服务，满足客户自身的需求，才能够帮助银行锁定客户，降低成本。

在后续工作中，山东省农信社将通过进一步新增智能语音语义平台的使用场景，探索智能语音语义与人工智能计算机视觉、ORC识别等多技术融合运用，不断强化山东省农信社智能语音语义平台服务能力，夯实智慧新基建。