攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3-Flash、TS-Guard-8B、Qwen3.5-9B 等 11 个
全部论文
另有 514 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量 LLM Agent 记忆投毒防御的良性效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 评测与基准arXiv 2608.20563
论文提出诊断长程安全 LLM Agent 失败来源的检查点方法
用检查点诊断长程安全 Agent 的失败来源
- arXiv
- 2608.20563
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5 Flash、Gemini 2.5 Pro、Gemini 3.7 Flash
摘要检查点把终局失败拆成暴露前与暴露后。
作者提出一套检查点诊断，用来判断长程安全智能体的失败发生在目标能力可测之前还是之后，并用配对干预检验上游解释。
- 评测与基准arXiv 2607.05462
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险
- arXiv
- 2607.05462
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini 3.5 Flash、Gemini 3.1 Pro、Opus 4.8 等 10 个
摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。
BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemini-2.5-Pro、GPT-5-mini、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
测量公开模型家族标签引发的多智能体派系化与合作下降
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
- 风险失准与价值偏离
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- DeBERTa-v3-FT、ProtectAI DeBERTa-v3-base-prompt-injection-v2、DeBERTa-PI 等 8 个
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.40111
Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练
构建 AED，把智能体自然失败转为诊断与动作修复训练数据
- arXiv
- 2609.40111
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.8 Flash、Gemini 3.7 Flash、Qwen3-8B 等 8 个
摘要AED 把自然失败做成诊断与修正数据。
AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。
- 评测与基准arXiv 2609.33658
AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架
提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界
- arXiv
- 2609.33658
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.5 Flash、GPT-5.5、Claude Opus 4.8 等 15 个
摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。
AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。
- 评测与基准arXiv 2609.35872
SameFact：同一安全事实在不同响应接口下导致不同模型反应
用 SameFact 比较同一安全事实在判断与动作接口上的敏感度
- arXiv
- 2609.35872
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma-3-27B-IT、Qwen3.8-27B、Mistral Small 3.2 24B 等 6 个
摘要SameFact 显示同一安全事实的敏感度随模型、因子和引出协议共同变化。
已经到底了