防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
全部论文
另有 310 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 防御arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 被测模型
- AdaBoost、XGBoost、TabPFN 等 10 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 攻击arXiv 2609.22510
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出条件触发的爆炸提示词，并设计摄入期检测器 DeFuse
- arXiv
- 2609.22510
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 15 个
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
- 防御arXiv 2609.13601
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
提出 DEMI 检测框架，在执行前识别 DAO 提案描述与执行载荷的不匹配
- arXiv
- 2609.13601
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要用公开链上数据仿真治理全流程，再以逐动作证据映射在执行前发现描述与执行不一致。
Mind the Gap 把 DAO 提案的描述–执行不一致（DEMI）做成可在投票窗口内运行的检测问题。。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2609.05535
Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测
提出 Mind2Web-Injection 评测网页 Agent 视觉注入护栏
- arXiv
- 2609.05535
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。
Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。
- 评测与基准arXiv 2608.16824
GEO-Flag：检测与测量面向生成式引擎优化的网页内容
提出 GEOFlagBench 与 IPT，检测并测量生成式引擎优化网页
- arXiv
- 2608.16824
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- ModernBERT-base、Qwen3-0.6B、Gemini-3.5-flash 等 11 个
摘要GEOFlagBench 与 IPT 用于检测 GEO 页，并估计真实检索中的占比与引用可核验性。
GEO-Flag 把页面级 GEO 检测做成可评测任务，并在发布的检索结果上估计被判为 GEO 的页面占比。
- 防御arXiv 2608.05578
AMS 工具通过激活分析检测语言模型的安全训练改动
提出 AMS，用激活分离与方向相似度检测安全训练改动
- arXiv
- 2608.05578
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。
AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准分配给独立调用以抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 4 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
- 防御arXiv 2607.19913
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
提出 Janus 前瞻守卫，在长程智能体执行有害动作前拦截潜在风险
- arXiv
- 2607.19913
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Vanguard
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
- 攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个
- 攻击arXiv 2606.13044
研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数
提出对抗重构，仅改表述以拉高 AI 审稿分数
- arXiv
- 2606.13044
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini
摘要揭示 AI 审稿系统易受纯表述重构操纵，建议在部署前解耦科学与写作评价。
- 攻击arXiv 2606.12716
PaperGuard：针对多模态 AI 同行评审的攻击与防御基准
提出 PaperGuard，用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令
- arXiv
- 2606.12716
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Claude-sonnet-4.5、GPT-4o、GPT-4.1 等 11 个
摘要PaperGuard 测到提示注入与白盒视觉抬分，并比较分块检索防御。
PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。
- 攻击arXiv 2605.30040
研究揭示 LLM 按 token 计费可被服务商系统性虚报
构造可通过计费审计的 token 虚报，使服务商系统性超收
- arXiv
- 2605.30040
- 发表
- 场景
- 模型与 API
- 被测模型
- PALACE domain-adapted auditor
摘要不诚实提供方可在三种 token 审计上虚报并通过检查，作者认为需改用提供方不控制的证据。
不透明 LLM 的按 token 计费里，现有审计核验的是提供方可控的证据，不诚实提供方可以虚报并通过检查。。
- 防御arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级检测系统 ADR，识别编程 Agent 的提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
已经到底了