评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
构建 APort Vault 基准，对比裸模型与确定性授权对越权支付的拦截
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Muse Spark 1.3、Claude Fable 5.1、Claude Sonnet 5 等 14 个
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.04378
COPEX：面向 MCP 智能体的受控攻击评测基准发布
提出 COPEX 基准，固定协议栈评测 MCP 智能体的攻击抵抗力
- arXiv
- 2610.04378
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.2:3b、Claude Opus 4.7、Claude Sonnet 4.6 等 9 个
- 评测与基准arXiv 2610.05622
UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力
发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力
- arXiv
- 2610.05622
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个
摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.1-8B、GPT-5.5、DeepSeek-V4-Pro 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hunyuan-3.0、Claude-Opus-4.8、Claude-Sonnet-4.6 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2609.35799
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
- arXiv
- 2609.35799
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Muse Spark 1.3、GLM 5.2、GLM 5.3 等 9 个
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
- 评测与基准arXiv 2608.12851
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
- arXiv
- 2608.12851
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hermes、Claude Code、Codex 等 6 个
- 评测与基准arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-Guard-3-8B、ShieldAgent-THU、Safiron 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 评测与基准arXiv 2609.26618
NavSafe-∞：在真实感环境中评测闭环驾驶安全
提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现
- arXiv
- 2609.26618
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 测试
- Human Driver Reference、PDM-Closed、LTF 等 15 个
摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。
NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。
- 评测与基准arXiv 2609.35922
VoxParity 评测：语音智能体在需要听声判断时仍按文字行事
提出 VoxParity 基准，评测语音智能体是否按音频改变工具调用
- arXiv
- 2609.35922
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Inkling、StepAudio 3、Voxtral Small 等 15 个
- 风险Agent 危险操作
- 组件音频
摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。
VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
- 评测与基准arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Llama-3.1-8B、Ministral-3-8B、Qwen3.5-9B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Hy3、Claude-Sonnet-5、Claude-Opus-5 等 14 个
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.06783
AURA-Eval：评估 LLM Agent 工具调用轨迹中的风险意识行为
提出 AURA-Eval 评测工具调用 Agent 的情境风险意识与行动
- arXiv
- 2609.06783
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.3-70B-Turbo、Llama-3-8B-Inst-Lite、Llama-3.1-8B-Inst 等 15 个
摘要AURA-Eval 用配对轨迹诊断智能体在有无安全路径时的风险识别与行动。
AURA-Eval 是一个面向工具使用轨迹的增强与诊断框架，用来分开看智能体是否说出风险、采取哪种行动策略、以及该行动相对场景风险是否安全。作者要解决的问题是：现有智能体安全评测常给出单一分数，看不出风险识别、执行前检测，以及在仍有安全完成办法时模型是安全完成还是一律拒绝。
- 评测与基准arXiv 2609.21223
SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全
提出 SafeStage，分执行前中后评测视觉语言机器人操作安全
- arXiv
- 2609.21223
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 测试
- π0.5、GR00T N1.7、DreamZero 等 4 个
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Mistral Medium 3.5、Claude Opus 4.8、DeepSeek v4 Pro 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 评测与基准arXiv 2609.30325
dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界
提出 ScopeBench，测量渗透智能体在目标压力下的范围遵从
- arXiv
- 2609.30325
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- arcee-ai/trinity-large-thinking、nvidia/nemotron-3-ultra-550b-a55b、claude-opus-4-8 等 8 个
- 评测与基准arXiv 2609.34463
CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入
提出协同演化防御 CoDeL，抵御智能体工具观测中的间接提示注入
- arXiv
- 2609.34463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、GLM-5.2
- 评测与基准arXiv 2609.03438
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。
- arXiv
- 2609.03438
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- UI-Venus-1.5-8B、OS-Atlas-Base-7B、AgentCPM-GUI 等 10 个
- 防御推理时干预
- 风险Agent 危险操作
- 组件视觉
摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从，ConflictGuard 用条件转向提高冲突终止率。
ConflictGuard用推理时的可行性核验和条件激活转向，让 GUI 智能体在指令不可行时终止，而不是盲执行。
已经到底了