全部论文

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench 局部协议，评测激活补丁修复越狱的附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

• 防御推理时干预
• 攻击越狱
• 风险拒答失当

研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

重评提示注入检测器，检验基准分数对智能体部署的预测力

arXiv

2610.03448

发表

10月2日

层

应用层

场景

AI Agent

测试

Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

• 防御检测与过滤
• 攻击提示注入
• 组件护栏与评审

微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

arXiv

2608.19741

发表

8月20日

层

应用层

场景

AI Agent

测试

Claude Opus 5、GPT-5.4、GPT-5.6-sol 等 14 个

MemoReason 基准

提出 MemoReason 基准，测量参数记忆对上下文推理的影响

arXiv

2609.35312

发表

9月28日

层

模型层

场景

模型与 API

测试

GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个

Salesforce AI Research 重测自改进 Agent

重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

arXiv

2608.18066

发表

8月19日

层

应用层

场景

网页与电脑操作

测试

GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个

• 组件记忆

FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

arXiv

2609.03221

发表

9月3日

层

应用层

场景

LLM 应用

测试

claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个

SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

arXiv

2610.01428

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个

研究发现系统提示中隐藏日期影响 LLM 评测结果

测量系统提示中隐藏日期对评测分数与排名的影响

arXiv

2609.36931

发表

9月29日

层

提示层

场景

模型与 API

测试

Llama 3.1 Instruct (8B)、Llama 3.1 Instruct (70B)、Gemma 3 Instruct (4B) 等 10 个