一、解决方案简介

1.方案背景

2018年，Gartner 在其发布的魔力象限报告中，明确指出增强型分析功能是 BI 产品发展的重要、也是显著的发展趋势之一，其原因并不难理解：“当前企业使用的数据的规模和复杂度已经逐渐超过人类可以处理的程度，静态报表、仪表板等传统工具已经不能满足需求，而通过机器学习、人工智能等技术增强分析，可以更好地处理这些数据。而如果利用自然语言处理、人工智能等技术的增强分析就可以自动、快速地对数据进行分析，辅助分析人员得到需要的数据洞察。”

因此，Smartbi在2018年便开始自主研发自然语言分析工具Smartbi NLP，期望通过引入自然语言处理、知识图谱、推荐算法和机器问答等人工智能技术，使得系统可以理解用户的数据分析需求，并帮助其快速完成分析任务获得数据洞见。

同时，基于多年的金融行业实践经验，Smartbi将自然语言分析和金融企业的实际需求相结合，推出了金融企业移动决策集成Smartbi语音查询解决方案。

2.架构设计

2.1总体架构

用户问句：用户语音(文字输入)后进入意图分类模块（意图分类是基于深度学习的算法服务用于判断用户想要执行操作种类）；

意图分类：根据用户问句，识别出该问句应该提交给哪个服务处理（自然语言查询、元数据查询、知识库问答）；此流程仅介绍自然语言查询服务，其他查询模块暂无实现；

自然语言查询引擎：（Smartbi基于Bert模型开发的自然语言识别引擎），接受到查询请求后，首先需要解析自然语言结构，通过模型和算法，解析出各查询要素，并生成Smartbi内部定义的查询定义；

Smartbi：Smartbi查询引擎获取到查询定义后，根据查询定义内容，自动识别使用Smartbi的哪种查询资源（即席查询、透视分析、自助仪表盘）执行查询；在确定具体的查询资源后，会调用Smartbi具体的查询资源接口生成查询，并执行查询，然后将查询结果返回到前端，给用户展示。

2.2部署架构

独立部署：NLA中的机器学习模型需要大量计算资源，故需要独立部署；

语音需要外网访问：Smartbi NLA专注于自然语言分析领域研究，故语音转文本服务由第三方提供。如果不使用语音输入，提供文本输入的方式；

软/硬件要求：NLA产品要求Smartbi产品为V9.5以上版本；Ubuntu和Centos系统建议Ubuntu-16.04.3-desktop-amd64和 CentOS-7-x86_64-Minimal-1908版本；低配置要求：NLA核心服务组件，8核心（X86）CPU，32G+内存，1TB+硬盘，单独部署，独享一台服务器的计算资源；

2.3功能架构

多轮对话：系统和用户以对话形式，让用户不断补充信息，进而达到用户通过语音指令实现对数据的剖析。例如，“查看2021年汽车销售量”，基于*****轮查询结果，用户紧接问“按季度，销售量降序查看”，系统给出相应图/表。

数据查询：基于Smartbi业务主题，对用户语音/打字输入的自然语言进行处理，转成SQL语句查询数据，根据查询结果的实际情况，选择展现图或表，该查询结果可以直接保存为Smartbi资源；

控制报表：对于预先制作好的报表，用户通过自然语言进行报表打开操作，含参报表还可以通过语音进行参数切换。

2.4建设目标

搭建NLP系统，为金融企业领导提供语音查询功能；

基于高层领导关心的所有数据、分析维度构建业务主题；

NLP系统作为一个模块集成到金融企业内部APP上；

保证数据的查询效率、报表性能和稳定性、数据准确性。

2.5建设内容

搭建NLP智能系统,实现以下功能：

1)Smartbi NLP功能

Smartbi NLP需要集成金融企业内部APP，通过内部APP用户登录;点击功能图标跳转至Smartbi NLP语音界面;设置Smartbi NLP功能用户的权限。

2)查询功能

查询数据可采用语音或文字两种不同输入方法。

3)指标推送功能

用户查询指标数据时，可能会遗漏一些重要指标；打开界面时推送一些重点指标作为参考。注：重点指标根据用户配置项配置，做智能更新。

4)默认参数

当用户问句里没时间维度时需要设置默认时间维度查询，按自动设置默认时间返回查询结果(默认时间需要事先设置完成）注：用户通过配置项的方式配置默认时间。

5)交互优化

查询时，查询结果返回该指标及关联指标的信息。注：用户通过配置项的方式配置配置关联指标。

6)同义词配置

对用户查询语句某些指标配置成意思相近的词语，方便查询。

7)性能优化

系统部署高速缓存库，启用高速缓存机制，同时避免需要查看新数据时，发现查出来的是缓存过的旧数据，满足T+1数据时限要求，提高查询效率；若缓存机制达到不了预期查询效果时可采用MPP方式处理，提高查询效率，达到用户预期效果。

8)Smartbi NLP功能集成

Smartbi NLP功能需要集成到金融企业内部APP上，在内部APP上形成一个可跳转至NLP语音提问界面的功能图标，用户登录APP点击图标可跳转至查询界面。

9)上下文关联结束方式

结束当前对话的时候采用点结束会话按钮或特定指令例如“结束对话”，清空结果。注：现已确定采用按钮结束关联。

基于高层领导关心数据及维度构建业务主题；

完善Smartbi NLP系统以适应高层领导使用习惯、语言习惯、业务名词；

优化系统性能、核对系统返回数据、保证系统稳定运行。

二、应用场景痛点简介

很多金融企业在购买、实施BI平台上投入了大量的资源，期望通过大数据分析推动增长、降低成本、提高客户满意度。然而多数企业都没有很好的发挥BI系统的能力。究其原因是用户在尝试使用BI平台创造商业价值时面临认知、流程和文化三个障碍。

在认知方面，不知道如何使用现有功能，不知道如何开始探索数据，探索数据后不知如何行动。

在流程方面，不知道平台有哪些功能，不愿意改变原有的工作流程，找不到需要的功能。

在文化方面，数据决策路径没有形成，不习惯数据驱动的思想，对平台数据缺乏信任。

三、解决方案亮点介绍

1.查询便利

原来多张报表在手机上查询操作不方便，通过NLP系统按需问答查询，提高查询便利性；

2.融入环境

与公司主要系统集成，使之与现有系统环境融为一体；

3.易用性高

为使用者简化操作，NLP智能语音系统操作简单，通过语音讲话或者文字输入即可使用；

4.数据聚焦

定制业务数据模型，所有展示内容均为使用者关心的数据；

5.功能适配

根据使用者的语言习惯、工作习惯、业务用语定制开发相应功能，使用者在操作规程中更加得心应手；

6.性能保障

保证数据的查询效率、报表性能和稳定性，为使用者提供性能保障。