一、项目背景

随着农村金融机构数字化转型进程加快，营业网点智能化建设已进入深水区。在中小型农村金融机构网点，LED信息屏、智能广告机、自助体验终端等公共显示设备的使用率显著提高，在提升服务效能的同时也暴露出物理安全防护短板。攻击者可能通过伪装成正常客户，利用物理端口接入进行网络安全攻击或信息窃取。根据银行业监管最新要求，各金融机构需履行好网络安全主体责任，做好网络安全防护工作，其公共显示设备更是重点关注对象，要求各机构全面掌握每一块屏幕的运行状态与接入情况，确保在联网期间有人值守并对联网显示设备实时监控。

二、项目方案

本项目的核心在于构建一个基于开源大模型技术栈的智能视频分析系统，能够对银行网点内针对公共显示设备（如 LED 显示屏、广告机、自助服务终端等）的各种物理攻击行为（包括但不限于非授权接入、恶意设备插入、屏幕遮挡破坏、异常靠近滞留等）进行实时监测与预警。方案充分利用开源大模型在多模态理解（视频+文本）和复杂推理方面的显著优势，建立“AI 识别-实时告警-日志存储-智能追溯”的闭环主动防御体系，从而为银行网点提供全方位的安全保障。

1.视频流接入与预处理

输入源通过标准RTSP(Real Time Streaming Protocol)协议接入网点部署的高清摄像头视频流，支持主流安防摄像头品牌。为了降低后续 AI 分析的计算负载，保证系统的实时性，同时又能够准确捕获关键动作瞬间，项目采用了自适应帧采样策略。具体来说，默认情况下每秒随机抽取 1-2 帧，当检测到运动突变时，会短暂提高采样率（如0.5 秒内采 5 帧）。对抽取的帧进行必要的尺寸缩放后，按照时间顺序拼接成短时帧序列片段(例如，每 5 秒或 10 秒处理一个片段，包含 5-10 帧)。这些片段将成为后续多模态分析的基础单元，为整个系统的正常运行奠定坚实的基础。

2.基于视觉类大模型的视频内容理解

采用视觉类大模型作为视频理解的引擎，本项目选用的Qwen2.5Max，该模型擅长将视频帧序列转化为连贯、详细、富含语义的自然语言描述，预训练数据量超过20万亿tokens，知识覆盖面极广，非常符合项目对于公共显示屏视频分析的针对性需求。使用提示词明确告知模型任务目标，例如：

“你是一个银行安全监控系统，专注于识别针对公共显示设备（如广告屏、信息屏、自助终端）的异常物理行为。详细描述画面中人物的动作、位置、与设备的交互，特别是任何疑似攻击、破坏或非授权接入的行为（如插拔不明设备、遮挡屏幕、异常滞留、破坏设备等），忽略正常客户操作。”

模型对每个输入的视频片段将输出一段结构化的自然语言描述文本，例如：

“画面中，一名身穿灰色外套的男性（约 30 岁）长时间（>1 分钟）徘徊在自助服务终端左侧。他身体微微前倾，左手似乎遮挡了终端侧面的某个区域（疑似接口位置），右手在口袋中摸索。周围无其他人员。行为可疑，疑似尝试隐蔽接入设备。”

3.基于文本类大模型的异常行为检测与风险评估

利用强大的文本大语言模型对先前生成的文本描述进行深度语义分析和风险评估，本项目采用的是 DeepSeekR1，该模型具有强大的通用文本理解、推理和生成能力，能够高效地进行快速推理。设计提示词，引导模型执行风险评估任务，例如：

“你是一个银行物理安全风险评估专家。根据以下监控画面描述，判断是否存在针对公共显示设备的物理攻击或高风险行为。如有，请明确指出行为类型（如：非授权设备接入、屏幕遮挡破坏、异常滞留窥探、设备破坏尝试等），评估风险等级（高/中/低），并简要说明判断依据。如果行为正常或低风险，请回答‘无异常’。监控描述：[输入先前生成的文本]”

模型对每一个输入的监控画面文本描述进行分析并输出评估结果，例如：

“以下监控画面存在针对公共显示设备的物理攻击，攻击类型为非授权设备接入，评估风险等级为高风险。”

4.基于评估结果的处置

当评估结果显示存在中高风险行为时，系统将立即触发实时告警机制。项目对接企业微信推送接口，通过企业微信将告警信息推送至指定安全负责人，以便其迅速响应处置，防止安全事件发生或升级。

5.智能追溯(RAG)

将每一次告警事件及其相关的视频片段、文本描述与分析结果结构化后，作为知识存入向量数据库。安全人员可通过基于 OpenUI 开发的友好前端界面，按照时间、地点、风险类型、行为标签等条件查询历史告警记录和原始分析数据（文本描述、关联视频片段）。发生安全事件需要回溯时，安全人员可以输入自然语言查询（如“查找上周所有在 XX 终端附近发生的高风险接入尝试”），从而快速获取相关信息，为安全事件的处理提供有力支持。

三、创新点

在技术应用方面，现有的视频分析系统仅能识别一些基础行为，而本项目则具有很强的针对性，着重对针对显示设备的物理攻击与可疑行为进行精准识别。

在业务模式方面，现有的模式通常是在安全事件发生后进行人工溯源录像，这种方式存在明显的滞后性。本项目则着重研究对视频流进行实时预警的能力。

四、项目过程管理

需求分析阶段：2025.02.01-2025.2.28

设计阶段：2025.03.1-2025.03.15

开发阶段：2025.03.15-2025.4.15 测试阶段：2025.04.15-2025.4.30

系统上线：2025.05.01

五、项目成效

一是技术溢出效应，形成了可复用的视频智能分析中台能力，适用于多种金融场景，显著降低了技术迁移成本;二是数字经济赋能,通过安全底座建设，助推网点开展远程视频银行等创新业务，衍生数字服务市场；三是合规成本优化，单网点年度网络安全等级保护（等保）合规审计成本得以降低，满足关于自动化风险管控的要求；四是服务连续性保障，减少因安全事件导致的营业中断时长，提升网点服务可用性。

六、经验总结

本项目在探索基于大语言模型的银行物理安全预警系统过程中，积累了若干重要经验。首先，技术选型与业务场景的深度融合至关重要。我们充分利用当前成熟的开源视觉与文本大模型，并针对金融网点的特定监控场景进行了深入的任务优化与提示词工程，既控制了研发成本，也有效提升了行为识别与风险判定的准确率。其次，实时性要求与资源消耗之间的平衡是一大挑战。通过自适应帧采样与分级处理机制，在有限算力下实现了近实时的分析响应，为中小金融机构提供了可行的大模型落地路径。此外，安全系统的建设必须兼顾预警与追溯。本项目通过引入RAG技术，将实时预警与事后智能检索结合，不仅提升了主动防御能力，也强化了事件回溯分析的效率，真正实现了闭环管理。最后，跨部门协作与合规对齐是项目成功的重要保障。在开发过程中，我们与业务、风控及合规团队保持密切沟通，确保系统设计满足实用性要求并通过合规性审查。未来，我们将持续优化模型针对性与系统性能，进一步探索多模态大模型在中小型农村金融机构的深化应用。