AgentHazard：评估计算机使用智能体有害行为的基准
作者针对计算机使用智能体提出 AgentHazard 基准，GLM-4.6 在 Claude Code 下 ASR 达 82.90%。
- 82.90%Claude Code下GLM-4.6全轨迹ASR（Table 2）
- 73.63%Claude Code下Qwen3-Coder全轨迹ASR（Table 2）
- 74.70%IFlow下Qwen2.5-Coder-32B全轨迹ASR（Table 2）
现有基准难以评估计算机使用智能体在多步执行与工具调用中由局部合理操作累积涌现出的有害行为。
相关工作涵盖大语言模型文本与代码安全评测，以及智能体能力和安全基准，但未针对多步局部合理动作组合。
构建由 10 类风险与 10 种策略组成的分类体系，通过任务模板生成、沙箱执行过滤、模型评判与人工审核产出基准。
评测显示当前智能体存在脆弱性，GLM-4.6 在 Claude Code 下 ASR 达 82.90%，防护模型全轮拼接最高检出 27.03%。
作者指出当前防护模型缺乏轨迹感知且需探索运行时防御，其实验覆盖了 3 个框架与 8 款开源或可部署模型。
AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。