评测与基准arXiv 2605.21545
RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平
提出 RefusalBench，评测生物研究提示上的拒答率与安全校准
- arXiv
- 2605.21545
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 风险拒答失当
全部论文
另有 434 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 评测与基准arXiv 2610.06171
ControlPed 生成逼真行人危险动作场景，七款端到端驾驶模型 HDScore 从 88.8 降至 47.4
提出 ControlPed，生成可控行人危险场景评测端到端驾驶模型
- arXiv
- 2610.06171
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 风险Agent 危险操作
- 组件视频
- 评测与基准arXiv 2609.37267
研究者提出主动式 LLM Agent 的 3T 原则与 Proactivity-Gym 评测环境
提出 3T 原则并用 Proactivity-Gym 评测主动式 Agent
- arXiv
- 2609.37267
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要主动智能体要联合优化任务、时机和信任。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评 Agent 提示注入检测器，检验基准分数能否预测部署表现
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2608.02110
IACM-RL：面向动态意图波动下复杂工具调用的意图感知上下文管理与强化学习
提出 IACM-RL，用自生成信念状态与强化学习改进动态意图下的工具调用
- arXiv
- 2608.02110
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御模型加固
- 评测与基准arXiv 2608.19741
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
- arXiv
- 2608.19741
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。
MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。
摘要剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量 LLM Agent 记忆投毒防御的良性效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 评测与基准arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 组件权限与沙箱
- 评测与基准arXiv 2608.20563
论文提出诊断长程安全 LLM Agent 失败来源的检查点方法
用检查点诊断长程安全 Agent 的失败来源
- arXiv
- 2608.20563
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要检查点把终局失败拆成暴露前与暴露后。
作者提出一套检查点诊断，用来判断长程安全智能体的失败发生在目标能力可测之前还是之后，并用配对干预检验上游解释。
- 评测与基准arXiv 2607.05462
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险
- arXiv
- 2607.05462
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。
BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 评测与基准arXiv 2610.01428
SAGO：从稳定性而非准确率出发的多维度大模型泛化评测
提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化
- arXiv
- 2610.01428
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。
SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.03511
多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析
构建 IndicReStruct，评测保语义结构扰动下的多语言数学推理
- arXiv
- 2609.03511
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率，轻量微调未能补上。
IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。
- 评测与基准arXiv 2609.40111
Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练
构建 AED，把智能体自然失败转为诊断与动作修复训练数据
- arXiv
- 2609.40111
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要AED 把自然失败做成诊断与修正数据。
AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。