10月8日 · 周四

全部论文

找到 36 篇

筛选1

攻击类型

越狱3 提示注入15 投毒与后门3 提取与窃取2 检测规避3

攻击技术

潜伏触发1

模型自身风险

欺骗与谋划2 奖励作弊2 Agent 危险操作6 拒答失当2 幻觉与编造1

防御类型

模型加固4 检测与过滤12 指令与数据隔离9 权限与审批12 监控与审计4 水印与溯源1

影响

有害内容3 越权操作17 数据与隐私泄露6 输出被操纵5 监督失效4

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 1033 篇还没打标签，不在筛选结果里。

被测模型厂商：OpenAI 清除全部

另有 1033 篇论文还没打上分类标签，暂不在筛选结果里。

防御arXiv:2610.09793 · 10月7日
用时序逻辑监控工具 Agent
提出基于 MonPoly 的时序逻辑监控，离线检出工具智能体危险动作链
AI Agent测试GPT-4o、Sonnet-3.5应用层
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
完整解读
防御arXiv:2609.11757 · 9月10日
研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御
提出 A-VIP，将购物意图绑定到支付授权以阻断商户文本操控
AI Agent测试gpt-5.5、gemini-2.5-flash-lite、gemini-3.1-flash-lite 等 15 个应用层
摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。
完整解读
防御arXiv:2610.09159 · 10月7日
SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突
提出 SpecGuard，在编码智能体执行前用 Lean 证书证明任务与测试冲突
编程 Agent测试GPT-5.6 Sol、Claude Opus 5、Claude Fable 5 等 4 个应用层
- 奖励作弊
摘要提出预执行冲突检测与证明框架，在多个基准和真实仓库中成功证明任务与测试不可同时满足。
完整解读
防御arXiv:2610.06966 · 10月4日
APEX：在 LLM Agent 执行边界主动防御间接提示注入
提出 APEX，在执行边界以授权契约拦截智能体间接提示注入
AI Agent测试GPT-5.6-sol、GPT-5.4、DeepSeek-V4-Flash 等 4 个应用层
完整解读
防御arXiv:2605.17380 · 5月
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级智能体检测系统 ADR，检测提示注入与恶意 MCP
编程 Agent测试GPT-4o、text-embedding-3-large、Claude Sonnet 4 等 4 个应用层
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
完整解读
防御arXiv:2610.05640 · 10月5日
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据
多智能体测试GPT-5.5、GPT-4.1、GPT-5.2 等 6 个应用层
- 指令与数据隔离
- 提示注入
摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。
完整解读
防御arXiv:2610.05870 · 10月5日
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成认证，仅当已知生成器都不能保真重构时签发真实图像证书
模型与 API攻击者白盒测试HiDream-O1、GPT Image-2、SD2.1 等 10 个模型层
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
完整解读
防御arXiv:2610.05163 · 10月4日
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入
编程 Agent测试Codex CLI (v0.144.0, GPT-5.5)、GPT-5.5、GPT-5.6-Sol 等 7 个应用层
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
完整解读
防御arXiv:2609.12001 · 9月10日
Pheo 提出 OATS：用确定性解析器在运行时治理 Agent 技能动作
提出 OATS，用确定性解析器在运行时治理技能动作
编程 Agent测试GPT-5.5、gpt-5-mini、codex-security-worker 等 4 个应用层
摘要论文论证了发布时恶意扫描无法替代运行时动作许可控制，提出了轻量确定性控制门 OATS，展示了双层防御组合的必要性。
完整解读
防御arXiv:2610.02664 · 10月2日
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束
AI Agent测试GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个应用层
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
完整解读
防御arXiv:2610.03089 · 10月2日
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击
网页与电脑操作测试gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个应用层
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
完整解读
防御arXiv:2609.33039 · 9月27日
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出 TACIT，读取冻结隐藏状态以检测智能体有害轨迹
AI Agent测试GPT-4o、o3-mini、Qwen3Guard-4B 等 9 个应用层
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
完整解读
防御arXiv:2609.38983 · 9月30日
论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败
提出 Approval Token 绑定编程智能体的审批与执行
编程 Agent测试Codex CLI (@openai/codex v0.154.0)、Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)应用层
摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。
完整解读
防御arXiv:2608.06422 · 8月6日
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击
LLM 应用攻击者黑盒测试ChatGPT、Claude Opus 4.8、Claude Sonnet 4.6 等 5 个应用层
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
完整解读
防御arXiv:2608.25460 · 8月26日
用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6
用强化学习与成对比较奖励训练对齐审计模型并校准假阳性
AI Agent测试GPT-5.4、GPT-5.4 Mini、GPT-5.4 Nano 等 15 个应用层
摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。
完整解读
防御arXiv:2609.05797 · 9月5日
论文发现安全监控器主要拦截模型本就会拒答的请求
构建明确度梯级并做守卫微调，以拦住模型会回答的有害请求
模型与 API测试gpt-oss-safeguard-120B、Gemma-4-31B-IT、Qwen3-32B 等 6 个模型层
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
完整解读
评测与基准arXiv:2609.02316 · 9月2日
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御
LLM 应用测试GPT 5.5、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个应用层
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
完整解读
评测与基准arXiv:2609.08943 · 9月9日
研究提出 Fact-Ablated Evaluation，揭示 LLM 事实核查更依赖参数知识
提出 FAE 衡量事实核查对证据的依赖，并用 REAL 训练这种依赖
模型与 API测试GPT-4o-mini、Gemini-2.5-flash-lite、Qwen-2.5-32B-Instruct 等 7 个训练与数据层
- 模型加固
摘要FAE 用多轮证据消融测接地，REAL 用对比监督让判决随证据可用性改变。
FAE 与 REAL 分别用来测量并训练 LLM 事实核查器对所给证据的依赖，而不只看一次性的标签准确率。
完整解读
防御arXiv:2610.01184 · 10月1日
ReCast：在固定媒体接口下保护多模态推理的隐私框架
提出 RECAST 框架，本地改写图表与语音以保护远程数值推理隐私
LLM 应用测试GPT-5.6-Sol、Qwen3.5-Omni-Plus、Qwen3-VL-8B-Instruct 等 11 个应用层
- 视觉
完整解读
评测与基准arXiv:2609.08258 · 9月8日
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
AI Agent测试GPT-5.5、GPT-5-nano、Grok-4 等 9 个应用层
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
完整解读

加载更多

全部论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

用时序逻辑监控工具 Agent

研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

SpecGuard 用 Lean 证书在编码 Agent 执行前证明任务冲突

APEX：在 LLM Agent 执行边界主动防御间接提示注入

Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

MBZUAI 提出可校准的真实图像认证方法

研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

Pheo 提出 OATS：用确定性解析器在运行时治理 Agent 技能动作

论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

TACIT：从 LLM 内部状态检测 Agent 轨迹危害

论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6

论文发现安全监控器主要拦截模型本就会拒答的请求

Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

研究提出 Fact-Ablated Evaluation，揭示 LLM 事实核查更依赖参数知识

ReCast：在固定媒体接口下保护多模态推理的隐私框架

研究实测五套 Agent 记忆系统均不执行撤销标记