本文来源于:鑫智奖·2024第五届金融机构数智化转型优秀案例评选,作者:阳光保险
阳光保险:风信子消息平台
2024-05-29 关键词:运维管理,基础设施,开源技术
3088
一、项目背景及目标
消息队列因具有解耦、异步通信、削峰填谷、高可靠、可扩展等优势,近年来在大型互联网电商和大型金融企业应用越来越广泛,但商业的消息平台价格昂贵、个性化开发难度大,为了最大程度降低成本,增强自主可控能力,同时符合信创要求,阳光保险基于开源的消息中间件RocketMQ研发公司自己的风信子消息平台,全面涵盖从消息发布、传输、处理到反馈的全生命周期。实现消息全生命周期以及运营监控等一体化管理,在降本增效的同时,加强了底层核心技术的自主可控能力。
风信子消息平台的目标是提升企业的底层核心技术自主可控能力,降低成本,同时符合信创要求。通过搭建一个自主研发的消息平台,能够满足企业的个性化定制需求,满足企业不断增长的业务需求。通过风信子消息平台,整合优化公司现有的消息集群环境,实现消息服务的统一管理和运维,降低企业用消息的门槛,解决企业使用消息队列中的痛点及难点,从而达到降本增效的效果。
二、创新点
风信子消息平台具有自主可控、统一管理、全栈信创、高可用等多项创新点。可以为企业提供高效、安全、可扩展的消息服务,满足多样化的企业需求。
平台由公司自主研发,达到完全自主可控的标准,不依赖于商业系统。在开源消息队列Rockemq所秉持的卓越设计理念和工程实践的基础上创新开发出一款全新的集中式消息平台。重点解决解决在同时满足高可靠的基础上达到高可用的特性。同时方便我们进行快速的扩容等管理操作。
风信子消息平台立足于Rockemq久经验证的高可用性与高性能特性,为用户提供一个能够承载大规模并发、保障数据零丢失,并具备灵活扩展能力的解决方案。它不仅吸收了Rockemq对消息持久化、集群部署及故障恢复等方面的成熟经验,还进一步强化了系统的安全性与管理便捷性,以满足不同行业与业务场景下的复杂需求。
平台重新定义企业级消息服务的标准,赋能企业在瞬息万变的数字化世界中搭建起一条稳健、流畅的信息高速公路,助力企业的微服务架构实现更高效的通信与协同,从而驱动业务持续增长与创新发展。
利用Rockemq的集群模式,采用多节点分布式架构,并通过一致性哈希算法实现负载均衡和分区容错,即使部分节点故障也能保证服务连续性和消息可靠性。每个消息在存储时都会进行多副本备份,采用同步刷盘方式,让消息进行持久化存储,确保消息不丢失且服务不受影响。
采用业界主流的前端开发框架Vue.js,从零开始全新构建了一款专为Rockemq设计的集中式管理系统。这款系统充分利用Vue框架的响应式数据绑定、组件化和路由管理等特性,实现了界面友好、交互流畅且性能卓越的用户体验。融合Kafka管理系统,实现kafka的业务监控,了解业务运行状态及时预警。
此外,平台从服务器、操作系统到数据库等各个层面都实现了全栈信创化,满足了信创对于底层技术的要求,提高了平台的独立可控性和安全性。
三、项目技术方案
风信子消息平台包括可靠消息系统和消息纳管系统两个部分。整个系统完全采用信创全栈技术进行完整的自主研发。基于rocketmq消息系统技术,进行自主研发。前端采用vue框架,全新开发消息统一纳管平台。纳管平台对接符合国密要求的扫码登录系统, 报警信息对接企业微信系统。纳管系统最终部署到符合信创要求的k8s系统中。可靠消息系统部署在海光处理器、麒麟操作系统的服务器上。

图1 风信子消息平台架构
基于RocketMQ设计理念和api接口,我们研发了一套完善的集中部署的兼容RocketMQ集中部署集群系统。该系统具备broker服务器IP探测、日志管理、性能监控及告警等。增强了可靠消息的同步刷盘及同步复制支持,确保在故障发生时自动尝试其他服务器重新发送消息。后台用户访问和管理工作,在单个生产者系统故障时及时切断,保护整个系统不受影响。
消息纳管模块,前端采用Vue等现代化的Web前端技术,实现平台前端组件的开发及页面交互效果,使得管理平台的操作更加可视化、简单;后端采用Java框架SpringBoot,简化开发;数据库采用OceanBase数据库实现平台数据的存储和管理,同时支持分布式存储,提高平台的数据处理能力;采用国密登录以及安全认证技术,保障数据安全性和平台可控性。
项目的业务模式采用如下两种:
1.平台即服务(PaaS):为企业提供消息队列平台的基础设施,企业通过订阅主题获得服务,对消息队列的资源进行申请、调用和存储服务。
2.管理一体化:针对企业业务系统提供服务管理一体化的服务,包括集中消息服务平台、监控、存储、告警等服务,可以根据业务团队的需求定制服务。
项目的商业模式为按需付费:研发团队按照主题使用量付费,灵活计费,降低企业的成本。
四、项目过程管理
需求调研阶段(1-3周)在这个阶段中,项目组进行需求调研,验证项目的可行性,并确定项目的技术方案,为后续的开发流程做准备。
功能架构设计阶段(4-7周)在这个阶段中,进行对风信子消息平台需求的分析与功能设计,制定详细的需求规格说明书和功能规格说明书,确定平台的开发方向和目标。
开发测试阶段(8-28周)在这个阶段中,进行对集中平台的搭建以及定制化开发,进行管理平台的前后端功能的开发、测试和整合,实现Web前后端的交互效果,提高平台的可视化和操作性,实现系统的功能和性能要求,提高平台的可扩展性和可靠性。
生产部署迭代阶段(21-30周)在这个阶段,进行集中平台和纳管平台的上线部署和线上测试,以及对风信子消息平台的迭代开发测试和上线,并向用户提供完善的功能使用和技术支持。
融合Kafka管理平台(31-38周)在这个阶段,进行Kafka纳管模块改造及统一登录开发上线,以及两套纳管平台统一权限、监控及报警等开发及上线。
五、运营情况
风信子消息平台在运营过程中,通过如下方式进行运营维护:
1.监测和分析平台的运行状态:通过对接技术平台监测和分析平台的运行状态和用户的使用情况,及时发现和处理平台的问题,并对系统数据进行存储和分析,帮助业务条线更好地了解消息队列的使用情况。
2.持续升级和维护服务:持续不断地升级和维护平台,确保它能够持续地满足业务团队的需求。
3.安全保障服务:采用多种手段保证平台的安全性和稳定性,包括国密认证、国密加密等安全技术的应用和快速响应所有突发事件的能力,保障平台安全,避免敏感数据泄漏等安全问题。
4.全程技术支持服务:建立全面、系统、快速响应的技术支持系统,协助业务团队快速解决技术难题,提高业务使用消息的便捷性、稳定性和安全性。
系统的运行情况如下:集中服务平台多节点集群化部署,确保每个节点挂载单独的信创物理机上,以磁盘存储的方式,保证数据的安全可靠,平台24小时全天侯运行,服务可用性达到99.99%;截止目前,已经有六个业务系统对接了风信子消息平台,平台的调用量达到10亿余次;纳管平台部署到符合信创要求的k8s系统中,使用OceanBase分布数据库,平台数据、日志实时存储和备份,确保数据的可靠性和安全性,纳管平台已经纳管了两个消息集群,消息体量大约为20亿条。系统代码经过多次安全扫描,不存在中高危漏洞。
六、项目成效
消息系统作为企业级应用的核心组件,其重要性不言而喻。随着业务规模的扩大和复杂性的提升,传统的消息系统已无法满足企业的需求。为了满足企业不断增长的业务需求,我们积极探索和研究消息系统的先进解决方案。通过采用先进、可靠和高效的消息系统解决方案,提高了企业的业务处理能力、自主可控能力,以及降低成本。
迁移前消息服务成本大约为10万每年,而迁移到风信子消息平台后价格为1.7万每年,相比于迁移前同等配置的服务,单个消息组可节约8.3万成本;同时,所有的版本升级和运维均由风信子消息平台人员负责,大大降低了人员成本。
高效可靠的消息平台是企业数字化转型的基础设施之一。通过提供高性能、低延迟、高可扩展的消息服务,助力各行各业的企业加快数字化进程,提升运营效率和客户体验。符合信创要求的自研消息平台,吸引了更多企业和开发者加入到信创生态中,共同推进国产软硬件的兼容适配和应用推广,形成良性循环,提升整个产业链的竞争力。自主研发拥有更高的灵活性和控制力,在面对突发事件或市场变化时,能更快地调整策略和技术方案,增强企业的应急响应和社会服务能力。
七、经验总结
项目建设经验总结:
1.明确需求和目标:在项目立项之初,需明确项目的需求和目标,深入了解合作伙伴的需求和行业标准,制定科学合理的技术架构和项目规划方案。
2.团队协作和沟通:在项目开发过程中,建立协作有效的团队协作机制,加强团队互动和交流,引入敏捷开发模式,以更好的促进整个团队的协作。
3.引进新技术和方案:在项目开发中,引进创新技术和方案,选用先进的工具和方法,不断改进和优化开发流程,提高项目的效率和质量。
推广经验总结:
1.在推广中,根据不同目标层面的用户,采用差异化的策略和手段,做足调查和用户分析工作,以有效地提高推广效果和用户的黏性。
2.以用户为本,直击用户痛点,着力打造产品竞争力和品牌特色,在用户体验、产品功能、产品性能等方面不断优化和拓展。
3.在运营管理中,注重数据分析和用户反馈,及时跟进用户的需求和提高支持服务质量,不断优化和改进服务,提高用户体验和满意度。
总之,在风信子消息平台的建设和推广过程中,注重项目规划和团队协作、技术创新、运营管理和用户满意度等方面的工作。
本网站案例,除特殊标明来源的,版权归金科创新社所有,未经许可不得转载,否则将视为侵权,对于不遵守此声明或者其他违法使用本文内容者,本网站依法保留追究权。另,本网站部分案例、观点文章来源于网络素材,如有侵权,请邮件联系 fenglei@fintechinchina.com 处理!
特别提示: 本网站免费为广大金融企业提供IT选型咨询服务,详情点击 【 需求提交 】。
推荐阅读
更多
安徽农信:基于人工智能的滨湖数据中心基础设施能效优化
数据中心基础设施能耗巨大,数据中心节能能够带来显著的经济和社会效益。而在数据中心基础设施中,空调能耗又占到全部能耗的70%,本项目通过将人工智能应用到数据中心基础设施空调系统运行控制中,为安徽省联社乃至金融行业数据中心基础设施节能降耗探索一条智能化创新的道路。
2018第二届农村中小金融机构科技创新优秀案例评选
安徽农信
2024-05-29
广东农信:自动化测试平台建设项目
随着广东农信的业务快速增长,软件产品的广泛使用,使客户对软件产品质量的要求不断提高,作为软件质量的重要保证,软件测试越来越显示出它的巨大优势。
2019第三届农村中小金融机构科技创新优秀案例评选
广东农信
2024-05-29
深圳农商行:智能柜台
为积极贯彻落实金融产品创新及普惠金融理念,给客户提供更加便捷高效的金融服务,全面提升客户体验,综合上述因素,我行在优化运营业务流程、深化网点转型的基础上,着手开发创新型智能柜台系统。
2024-05-29
山东农信:集中运维监控平台项目
为保证日常运行维护工作的顺利开展,确保业务系统安全、稳定运行,山东省联社通过建设集中运维监控平台项目,完成了异构监控系统数据的集中,通过大数据技术对运维监控数据进行挖掘和分析,实现了对运维突发事件的监测、识别、评估与态势感知,有效提高了突发事件的处置能力,初步实现了由IT运维到主动运营服务的转变。
2018第二届农村中小金融机构科技创新优秀案例评选
山东农信
2024-05-29
福建农信:云平台“农信云”项目
随着福建省农村信用社联合社(下称 “福建农信”)规模不断扩大、业务不断增加,应用系统、设备、数据中心空间能耗都不断增加,IT运维各方面都面临种种挑战。
2017首届农村中小金融机构科技创新优秀案例评选
福建农信
2024-05-29
贵州农信:IT可视化运维管理体系建设方案
为切实满足业务连续性及监管部门要求,确保IT系统安全、高效、稳定运行,我社在观山湖数据中心建设过程中同步启动了IT可视化运维管理体系建设。
2019第三届农村中小金融机构科技创新优秀案例评选
贵州农信
2024-05-29
微信
咨询
微信咨询
扫码添加金科小助手微信号
咨询案例和解决方案相关信息
或联系对应机构