一、项目背景及目标

随着农村金融机构数字化转型进程加快，营业网点智能化建设已进入深水区。在中小型农村金融机构网点，LED信息屏、智能广告机、自助体验终端等公共显示设备的使用率显著提高，在提升服务效能的同时也暴露出物理安全防护短板。攻击者可能通过伪装成正常客户，利用物理端口接入进行网络安全攻击或信息窃取。根据银行业监管最新要求，各金融机构需履行好网络安全主体责任，做好网络安全防护工作，其公共显示设备更是重点关注对象，需各机构熟悉掌握每块屏幕的基本情况，确保在联网期间有人值守并对联网显示设备实时监控。

二、创新点

技术应用：现有视频分析仅识别基础行为，课题针对性的对社会工程学行为进行精准识别业务模式：现有模式通常为安全事件发生后人工溯源录像，项目研究实时性对视频流进行预警

三、项目技术方案

本项目核心在于构建一个基于开源大模型技术栈的智能视频分析系统，实现对银行网点内针对公共显示设备（如LED屏、广告机、自助终端）的物理攻击行为（如非授权接入、恶意设备插入、屏幕遮挡破坏、异常靠近滞留等）进行实时监测与预警。方案充分利用开源大模型在多模态理解（视频+文本）和复杂推理方面的优势，建立"AI识别-实时告警-日志存储-智能追溯"的闭环主动防御体系。

方案详细流程与技术组件：

1.视频流接入与预处理

输入源通过标准 RTSP (Real Time Streaming Protocol) 协议接入网点部署的高清摄像头视频流。支持主流安防摄像头品牌。为降低后续AI分析的计算负载，保证实时性，同时又能够捕获关键动作瞬间，项目采用了自适应帧采样策略，即默认每秒随机抽取 1-2帧，检测到运动突变时，短暂提高采样率（如0.5秒内采5帧）。对抽取的帧进行必要的尺寸缩放后按时间顺序拼接成短时帧序列片段 (例如，每5秒或10秒处理一个片段，包含5-10帧)。这些片段是后续多模态分析的基础单元。

2.基于视觉类大模型的视频内容理解

采用视觉类大模型作为视频理解的引擎，本项目采用的是Qwen 2.5 Max，该模型擅长将视频帧序列转化为连贯、详细、富含语义的自然语言描述，预训练超20万亿tokens，知识覆盖面极广，符合项目对于公共显示屏视频分析的针对性。使用提示词明确告知模型任务目标。例如:

“你是一个银行安全监控系统，专注于识别针对公共显示设备（如广告屏、信息屏、自助终端）的异常物理行为。详细描述画面中人物的动作、位置、与设备的交互，特别是任何疑似攻击、破坏或非授权接入的行为（如插拔不明设备、遮挡屏幕、异常滞留、破坏设备等），忽略正常客户操作。”

模型对每个输入的视频片段会输出一段结构化的自然语言描述文本。例如：

“画面中，一名身穿灰色外套的男性（约30岁）长时间（>1分钟）徘徊在自助服务终端左侧。他身体微微前倾，左手似乎遮挡了终端侧面的某个区域（疑似接口位置），右手在口袋中摸索。周围无其他人员。行为可疑，疑似尝试隐蔽接入设备。”

3.基于文本类大模型的异常行为检测与风险评估

利用强大的文本大语言模型对先前生成的文本描述进行深度语义分析和风险评估，本项目采用的是DeepSeek R1，该模型具有强大的通用文本理解、推理和生成能力，能够高效的进行快速推理。设计提示词，引导模型执行风险评估任务，例如：

“你是一个银行物理安全风险评估专家。根据以下监控画面描述，判断是否存在针对公共显示设备的物理攻击或高风险行为。如有，请明确指出行为类型（如：非授权设备接入、屏幕遮挡破坏、异常滞留窥探、设备破坏尝试等），评估风险等级（高/中/低），并简要说明判断依据。如果行为正常或低风险，请回答‘无异常’。监控描述：[输入先前生成的文本]”

4.基于评估结果的处置

评估结果若为中高风险行为时，系统将触发实时告警。项目对接企业微信推送接口，将通过企业微信发送告警信息至指定负责人。

5.智能追溯 (RAG)

将每一次告警事件及其相关的视频片段、文本描述、分析结果作为案例知识存入向量数据库。安全人员可通过基于 OpenUI 开发的友好前端界面，按时间、地点、风险类型、行为标签等条件查询历史告警记录和原始分析数据（文本描述、关联视频片段）。当发生安全事件需要回溯时，安全人员可以输入自然语言查询（如“查找上周所有在XX终端附近发生的高风险接入尝试”）。

四、项目成效

1.产业效益

技术溢出效应：形成可复用的视频分析中台，多金融场景，技术迁移成本降低

数字经济赋能：通过安全底座建设，助推网点开展远程视频银行等创新业务，衍生数字服务市场

2.社会效益

公众权益保障：构建客户信息"防火墙"，将敏感数据接触人员缩减至必要岗位，符合《个人信息保护法》第五十五条要求

就业结构升级：培养"AI训练师+安全分析师"复合型人才

区域示范效应：形成农村金融机构数字化转型样板

3.经济效益

合规成本优化：单网点年度等保合规审计成本降低，满足关于自动化风险管控的要求

服务连续性保障：减少因安全事件导致的营业中断时长，提升网点服务可用性