攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
全部论文
另有 208 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.06966
APEX：在 LLM Agent 执行边界主动防御间接提示注入
提出 APEX，在执行边界用授权契约防御 Agent 间接提示注入
- arXiv
- 2610.06966
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GLM-5.2、GPT-5.6-sol
- 防御arXiv 2610.03089
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击
- arXiv
- 2610.03089
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
- 防御arXiv 2610.01349
PACE：面向工具调用 LLM Agent 的来源感知能力强制执行
提出 PACE，在工具调用前做路径隔离与效果授权
- arXiv
- 2610.01349
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- gpt-5.6-luna、DeepSeek-V4-Flash、Qwen-3.8-27B
摘要PACE 在工具边界做路径割与效果核验。
PACE 是面向工具调用型 LLM 智能体的运行时调解：当准入证据无法区分会改变行为的规格时，不在出口站点上撤销调解，而在最后一次工具调用前同时检查表示出的影响路径和请求权限。
- 防御arXiv 2610.02569
Pincer：用数字分身学习用户偏好并执行动态最小权限
为 Agent 提出资源层授权系统 Pincer，用数字分身执行动态最小权限
- arXiv
- 2610.02569
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Muse Spark 1.2 Contributor
摘要Pincer 在资源层以三票合取做授权。
Pincer 是加在现成 coding agent 上的资源层授权防御：用只受用户侧信息影响的 digital twin 做动态最小权限，并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳，以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作，并认为推理代码或复杂 shell 的效果在这一层不实际。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- DeepSeek-R1-Distill-Qwen-32B、QwQ-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
- 防御arXiv 2609.37196
ToolFence：为工具调用 LLM Agent 提供细粒度授权
提出 ToolFence，以能力蓝图和确定性授权拦截 Agent 未授权工具调用
- arXiv
- 2609.37196
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3-max、GPT-4o (gpt-4o-2024-08-06)、Mistral-Small-3.1-24B-Instruct-2503
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
- 攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体搜索，并用 DOU 逃避检测
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- E5、Contriever-MSMARCO
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 防御arXiv 2609.22949
多智能体系统提示注入威胁模型与防御架构：14 类攻击向量与四类防御
提出多智能体系统提示注入的威胁模型与四层架构防御
- arXiv
- 2609.22949
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-4o (2024-08-06)、Claude 3.5 Sonnet、Llama 3 70B-Instruct
- 防御arXiv 2609.22573
研究提出面向企业 MCP 的零信任授权与工具发现方案
提出企业 MCP 零信任授权与发现扩展，在架构上拒绝提示注入下的越权调用
- arXiv
- 2609.22573
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- gpt-5、claude-sonnet-4-6、claude-opus-4-7 等 6 个
摘要同一份按工具声明同时管 MCP 的发现、列表和调用，使注入不能扩大已有凭证的权限。
作者把零信任放在 MCP 工具调用边界：智能体即使被提示注入，也不能调用其凭证范围之外的工具。问题来自三点部署性质。调用意图会随不可信上下文改变。
- 防御arXiv 2609.18411
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
提出可验证操作卡 VAC，把智能体浏览器确认绑定到真实 DOM 操作
- arXiv
- 2609.18411
- 发表
- 层
- 应用层
- 被测模型
- gpt-oss-120b、Gemini-2.5-Flash、GPT-4.1 等 6 个
- 防御arXiv 2609.16229
ARIA：用稀疏自编码器实现测试时机器遗忘
提出 ARIA，在冻结权重上用 SAE 做推理时遗忘门控
- arXiv
- 2609.16229
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- DeepSeek-R1-Distill-Qwen-1.5B、Gemma-3-1B-it
- 防御arXiv 2609.14631
IntentCap 提出按任务意图限定 LLM Agent 权限的机制
提出 IntentCap，按来源字段所有权合成并裁决 Agent 能力租约
- arXiv
- 2609.14631
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要四源字段租约约束副作用。
IntentCap 是把智能体能力绑到当前任务意图、并按上下文来源划分字段所有权的权限机制。
- 攻击arXiv 2609.12448
GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子
提出 GraphProfiler，用个人知识图谱从帖子历史推断敏感属性并溯源
- arXiv
- 2609.12448
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要GraphProfiler 用源链接个人知识图谱做属性推断，准确率接近文本基线，并把证据定位到少量源帖。
GraphProfiler 是一个可审计的 LLM 敏感属性画像器：用源链接个人知识图谱，把推断落到具体帖子。
- 防御arXiv 2609.05903
EvoSafeHarness：为 Agent 自动演化模型与领域专属安全护栏
为冻结模型与目标域自动搜索可部署的 Agent 安全 harness
- arXiv
- 2609.05903
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Sonnet 4.6、GLM-5、Kimi-K2.5 等 11 个
- 防御arXiv 2609.05901
KITA：为 LLM Agent 设计密钥隔离的阈值签名授权架构
提出 KITA，把 Agent 批准绑定到规范动作的密钥隔离阈值签名
- arXiv
- 2609.05901
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要KITA 把隔离的阈值签名当作精确动作的执行条件，并测量门控、相关性与签名开销。
KITA 是一套密钥隔离的阈值授权架构，用来把模型评审变成执行外部动作的条件。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。