防御arXiv 2610.11942
LGWM：用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM，用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 防御arXiv 2610.06966
APEX：在 LLM Agent 执行边界主动防御间接提示注入
提出 APEX，在执行边界用授权契约防御 Agent 间接提示注入
- arXiv
- 2610.06966
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GLM-5.2、GPT-5.6-sol
- 防御arXiv 2610.04504
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
提出 VAL 框架，并用确认门与参数沙箱约束智能体高风险工具调用
- arXiv
- 2610.04504
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-chat、Meta Llama 3.1 8B、Kimi
- 防御arXiv 2610.02413
研究：分类后缀可提升激活探针的分布外恶意输入检测
用分类后缀提升激活探针对分布外恶意输入的检测
- arXiv
- 2610.02413
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B
摘要作者称排序增益来自分类格式，低 FPR 精度来自点名准则。
用户轮后的分类后缀，被作者用作激活探针的分布外检测干预：排序看格式，低 FPR 精度看是否点名恶意/良性。
- 防御arXiv 2610.03089
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击
- arXiv
- 2610.03089
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个
- 防御arXiv 2610.01058
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
- arXiv
- 2610.01058
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Llama2-13B、Llama2-7B、Mistral-7B
- 防御arXiv 2610.02569
Pincer：用数字分身学习用户偏好并执行动态最小权限
为 Agent 提出资源层授权系统 Pincer，用数字分身执行动态最小权限
- arXiv
- 2610.02569
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Muse Spark 1.2 Contributor
摘要Pincer 在资源层以三票合取做授权。
Pincer 是加在现成 coding agent 上的资源层授权防御：用只受用户侧信息影响的 digital twin 做动态最小权限，并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳，以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作，并认为推理代码或复杂 shell 的效果在这一层不实际。
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-8B、Qwen3-14B、Qwen3-32B 等 6 个
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 攻击arXiv 2609.38899
SceneJail：利用视频场景上下文越狱多模态大模型
提出 SceneJail，利用视频情境上下文越狱视频多模态模型
- arXiv
- 2609.38899
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct 等 8 个
- 防御arXiv 2609.37196
ToolFence：为工具调用 LLM Agent 提供细粒度授权
提出 ToolFence，以能力蓝图和确定性授权拦截 Agent 未授权工具调用
- arXiv
- 2609.37196
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3-max、GPT-4o (gpt-4o-2024-08-06)、Mistral-Small-3.1-24B-Instruct-2503
- 防御arXiv 2609.36326
PILLAR：面向增强检索的私有倒排索引词法查找
提出 PILLAR，用私有词法预筛与客户端重排保护 RAG 查询
- arXiv
- 2609.36326
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 组件RAG
摘要PILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排，在两基准上换取延迟或质量。
PILLAR 是面向公开语料的隐私 RAG：半诚实服务器学不到查询词项和访问模式，客户端仍拿到用于增强生成的 k 篇文档。
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
- 防御arXiv 2609.34518
SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE
提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE
- arXiv
- 2609.34518
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等 5 个
摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。