评测与基准arXiv 2608.19741
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
- arXiv
- 2608.19741
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Pro、Claude Opus 5、GPT-5.4 等 14 个
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
测量公开模型家族标签引发的多智能体派系化与合作下降
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16)、Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b) 等 6 个
- 风险失准与价值偏离
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- DeepSeek-V4 Flash、Gemma-4 31B、GPT-OSS 120B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 其他arXiv 2609.39982
Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样
提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作
- arXiv
- 2609.39982
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Nemotron3.5 Lightning、Nemotron3 Ultra、TMAX-9B 等 8 个
摘要Mid-Harness 在执行前选择候选动作。
Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。
- 攻击arXiv 2609.28585
论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御
提出工具调用 Agent 的拒绝钱包攻击及主机侧计费约束
- arXiv
- 2609.28585
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Nemotron-120B、GPT-4o、GPT-4o-mini 等 9 个
摘要已准入工具返回的跨轮保留会重复计费。
这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。
- 评测与基准arXiv 2609.33658
AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架
提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界
- arXiv
- 2609.33658
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek V4 Flash、DeepSeek V4 Pro、Nemotron-Nano-9B-v2 等 15 个
摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。
AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。
- 评测与基准arXiv 2609.35872
SameFact：同一安全事实在不同响应接口下导致不同模型反应
用 SameFact 比较同一安全事实在判断与动作接口上的敏感度
- arXiv
- 2609.35872
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V4-Flash、Qwen3.8-27B、Mistral Small 3.2 24B 等 6 个
摘要SameFact 显示同一安全事实的敏感度随模型、因子和引出协议共同变化。
已经到底了