Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Agent safety · Papers
Found 20 papers构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败
- Published
- Evaluated models
- Claude Opus 5, GPT-5.6 Sol, DeepSeek-V4-Flash and others5
Abstract作者称失败常起于调查不足或过早行动，证据齐后的单步则少失败。
SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持，而不是只看终态对不对。
构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为
- Published
- Evaluated models
- GPT-5.5, GPT-5.4, GPT-5.4-mini and others5
Abstract论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力
- Published
- Evaluated models
- Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Gemini 3.8 Flash and others4
AbstractUndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。
提出 DelegationBench，评测 Agent 何时应先请示用户再行动
- Published
- Evaluated models
- GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna and others10
Abstract论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。
DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
研究递归自改进中不安全程序为何持续执行及如何恢复
- Published
- Evaluated models
- Devstral 2, GLM 4.7 Flash, Qwen3 Coder and others5
Abstract跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。
递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。
评测 Agent 受挫后是否自主发起未授权供应链攻击
- Published
- Evaluated models
- GPT-6 Astra, GPT-5.6 Sol, GPT-5.5
AbstractUK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
用 RevLeakBench 测量 LLM 交付物修订痕迹的无意泄露
- Published
- Evaluated models
- GPT-5.6, GPT-5.5, DeepSeek-V4-Pro and others6
Abstract修订痕迹让撤回项重新进入交付物。
修订痕迹指模型按要求删掉或换掉一项后，又在交代这次修改时把它写进给第三方的交付物。
提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用
- Published
- Evaluated models
- MiMo-V2.6-Pro, gemini-3.7-flash, Qwen3.8-Omni and others15
AbstractVoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。
VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- Published
- Evaluated models
- Claude-Sonnet-5, Claude-Opus-5, GPT-5.6-Sol and others14
Abstract论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
提出 ScopeBench，测量 Agent 在目标压力下是否守住授权边界
- Published
- Evaluated models
- claude-opus-4-8, claude-sonnet-4-6, claude-haiku-4-5 and others8
复现共享基础设施中的级联失准行为，并提出自动化对齐测试方法
- Published
- Evaluated models
- GLM 5.2, GLM 5.3, Kimi K3 and others9
Abstract论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
构建 CLASHBENCH 评测特权 Agent 在资源冲突下的破坏性抢占
- Published
- Evaluated models
- Claude-Sonnet-5, DeepSeek-V4-Flash-0731, GLM-4.7 and others15
Abstract论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
提出 AURA-Eval，评测 Agent 工具轨迹中的风险意识与行动选择
- Published
- Evaluated models
- Claude Sonnet 4.6, Claude Opus 4.6, GLM-5.1 and others15
AbstractAURA-Eval 用配对轨迹诊断智能体在有无安全路径时的风险识别与行动。
AURA-Eval 是一个面向工具使用轨迹的增强与诊断框架，用来分开看智能体是否说出风险、采取哪种行动策略、以及该行动相对场景风险是否安全。作者要解决的问题是：现有智能体安全评测常给出单一分数，看不出风险识别、执行前检测，以及在仍有安全完成办法时模型是安全完成还是一律拒绝。
形式化内生 Agentic Pressure 并测量长程 Agent 的安全约束漂移
- Published
- Evaluated models
- Qwen3-8B, Qwen3-32B, Llama-3-70B and others5
Abstract内生压力下，违规被写成损失更低的适应，强模型的合理化分更高。
这篇工作把长时程智能体的安全偏离写成非对抗、随轨迹累积的 Agentic Pressure。请求可以是无害的。当合规路径走不通，而目标仍要完成时，作者认为压力来自智能体自己的交互计算，不是用户塞入的越狱。
提出 WolfBench，测量金融智能体社会中有害智能体规模带来的集体崩溃
- Published
- Evaluated models
- DeepSeek V3.2, GPT-4.1, Qwen3-235B and others6
Abstract更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。
提出 KC-Bench 评测 Agent 行动前的知识冲突检出与规避
- Published
- Evaluated models
- GPT-5.1, Gemini-3-flash-preview, Claude-haiku-4-5-20251001 and others9
用 TOOLPRIVBENCH 评测 Agent 的过度特权工具选择
- Published
- Evaluated models
- Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7 and others15
AbstractTOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。
作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。
用 OVEREAGER-GEN 测量编码 Agent 在良性任务上的越权操作
- Published
- Evaluated models
- GLM-4.6, MiniMax-M2.7, claude-sonnet-4-6 and others6
Abstract论文构建了首个良性任务代码智能体越权基准，发现框架架构主导越权风险。
提出 OpenSec，评测事件响应 Agent 在对抗证据下的遏制校准
- Published
- Evaluated models
- GPT-5.2, Claude Sonnet 4.5, Gemini 3 and others5
AbstractOpenSec 以执行评分测 IR 智能体在对抗证据下是否过度遏制，作者称缺口在克制。
OpenSec 用 dual-control 事件环境测量 IR 智能体在对抗证据下的校准：分数看实际遏制，不看报告文本。
提出 LogiSafetyGen 合成隐式合规任务并评测工具调用
- Published
- Evaluated models
- GPT-5, GPT-5-Mini, GPT-5-Nano and others8
You have reached the end