江苏省联社
时间:2022-10-13 09:00:00 ~ 2022-10-18 17:00:00 作者:江苏省联社:基于双引擎的实时数据处理系统 投票数:184
系统主要包括应用集群、指标处理应用集群、实时指标加工集群3大功能模块。应用集群主要为指标的管理与配置,包括nginx前端服务器和后端服务器,完成指标的管理功能。指标处理应用集群对外提供ESB、HTTP接口,主要功能包括特征指标的加工的前期预处理解析与后期的报文组装对外输出,通过外部数据查询前置获取需要的加工的报文,解析后转发到大数据平台的kafka消息集群。实时指标加工集群收到报文消息后,通过两个流数据处理引擎,根据配置的指标需求,加工结果输出到redis集群缓存,再进行报文组装对外输出结果。