全部论文

研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击

提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击

arXiv

2606.14517

发表

6月12日

层

应用层

场景

AI Agent

攻击者

黑盒、白盒

测试

TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个

• 攻击拒绝服务
• 技术推理链操控
• 组件护栏与评审
• +2+2

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

• 防御推理时干预
• 攻击越狱

研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

分析工具型 Agent 判定检索无用却不停止的原因

arXiv

2610.06191

发表

10月5日

层

应用层

场景

AI Agent

测试

Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审

HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正

arXiv

2610.01170

发表

10月1日

层

模型层

场景

模型与 API

测试

Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个

• 防御推理时干预
• 风险拒答失当
• +1+1

IACM-RL：面向动态意图波动下复杂工具调用的意图感知上下文管理与强化学习

提出 IACM-RL，用自生成信念状态与强化学习改进动态意图下的工具调用

arXiv

2608.02110

发表

8月3日

层

应用层

场景

AI Agent

测试

Qwen3-8B、1.7B Qwen

• 防御模型加固

微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

arXiv

2608.19741

发表

8月20日

层

应用层

场景

AI Agent

测试

Claude Opus 5、GPT-5.4、GPT-5.6-sol 等 14 个

MemoReason 基准

提出 MemoReason 基准，测量参数记忆对上下文推理的影响

arXiv

2609.35312

发表

9月28日

层

模型层

场景

模型与 API

测试

GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个

剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异

测量剪枝对语音 LLM 群体转写公平性的影响

arXiv

2609.38106

发表

9月30日

层

模型层

场景

模型与 API

测试

Whisper Small (12 layers)、Whisper Medium (24 layers)、Whisper Large-v2 (32 layers) 等 4 个

• 风险偏见与歧视
• 组件音频

研究测量 LLM Agent 记忆投毒防御的良性场景开销

测量 LLM Agent 记忆投毒防御的良性效用与 token 开销

arXiv

2609.22818

发表

9月19日

层

应用层

场景

AI Agent

测试

gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001

• 攻击投毒与后门
• 组件记忆
• +1+1

CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力

arXiv

2607.18538

发表

7月21日

层

应用层

场景

编程 Agent

测试

Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个

• 风险危险能力

AgentRewind：面向长周期 LLM Agent 的可恢复执行框架

提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区

arXiv

2608.14380

发表

8月14日

层

应用层

场景

编程 Agent

测试

GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个

• 组件权限与沙箱

论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

用检查点诊断长程安全 Agent 的失败来源

arXiv

2608.20563

发表

8月21日

层

应用层

场景

AI Agent

测试

Gemini 2.5 Flash、Gemini 2.5 Pro、Gemini 3.7 Flash

BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险

arXiv

2607.05462

发表

7月6日

层

应用层

场景

编程 Agent

测试

Opus 4.8、Opus 4.7、Opus 4.6 等 10 个

• 风险拒答失当
• 组件护栏与评审

研究者发布面向 EU AI Act 行为准则的系统性风险指数与仪表盘

构建 Systemic Risk Index 流水线，把公开基准映到四类系统风险并评测

arXiv

2609.28335

发表

9月24日

层

模型层

场景

AI Agent

测试

Claude Sonnet 5、Claude Haiku 4.5、GPT-5.6 Luna Pro 等 15 个

• 风险危险能力
• +1+1

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用

arXiv

2609.23980

发表

9月21日

层

应用层

场景

编程 Agent

测试

OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个

• 风险危险能力

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

arXiv

2610.01428

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个

KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准

提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力

arXiv

2610.02206

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama3.1-Instruct 8B、Qwen3 8B、Qwen3 8B thinking 等 15 个

• 风险危险能力

论文发现暴露模型身份标签会削弱多智能体 LLM 合作

测量公开模型家族标签引发的多智能体派系化与合作下降

arXiv

2609.35928

发表

9月28日

层

应用层

场景

多智能体

测试

Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个

• 风险失准与价值偏离