AgentHarm：衡量大语言模型智能体危害性的基准

1. 01这篇论文试图解决什么问题？

   现有越狱研究多针对聊天机器人，作者提出 AgentHarm 基准测量 LLM 智能体被恶意多步请求驱使的程度。

   核心问题：LLM 智能体（能调用工具、执行多步任务）被恶意用户直接驱使完成有害任务的倾向与能力，缺乏可靠、标准化的测量基准。

   • 问题场景：作者认为，相比聊天机器人只输出有害答案，能执行多阶段任务的智能体（如直接下单购买制爆原料）被滥用时风险更大；且已有研究发现单轮鲁棒性不一定迁移到多轮，聊天场景的结论对多步智能体场景意义有限。
   • 现有方法不足：作者称此前工作多关注间接攻击（如提示注入）或假设用户意图良性；部分基准用 LLM 模拟工具执行和打分，作者明确要避免这种做法；还有工作只跟踪首轮函数调用的拒答。
   • 核心观察：作者指出部分越狱会让模型能力下降，若只统计是否拒答，会把"攻击成功但模型变笨"误判为高分，因此评分必须同时考察任务完成质量。
   • 论文提出什么：AgentHarm 基准——110 个手写恶意智能体任务（增强后 440 个）、11 类危害、104 个合成工具、人工评分细则，并对 15 个前沿模型做了直接请求、强制工具调用和通用越狱模板三种评测。
   • 威胁模型：
     • 目标：让智能体完成显式有害的多步工具调用任务（direct prompting attacks）。
     • 知识：攻击者是恶意用户本人，直接给出有害请求；越狱模板仅在私有验证集单个样本上优化。
     • 能力：可发送首条（可对抗构造的）提示词，可使用强制工具调用选项或越狱模板；不能多轮追问。
     • 受害系统：接入合成工具、以简单 while 循环运行的 LLM 智能体。

   收起这一问

2. 02有哪些相关研究？

   相关工作分智能体能力基准、智能体安全基准和越狱研究三组，作者定位本文为面向直接恶意请求的多步智能体误用基准。

   智能体与函数调用能力基准

   • Yao et al. (2022)：提出 ReAct，为智能体引入 chain-of-thought 提示，结合推理与行动。
   • Berkeley Function Calling Leaderboard（Yan et al., 2024）：用抽象语法树做语言无关的函数调用评测；论文指出它缺少多步智能体场景所需的函数执行与连续调用集成。
   • GAIA（Mialon et al., 2023）、Kinniment et al. (2023)、ToolLLM（Qin et al., 2024）、ToolSandbox（Lu et al., 2024）：多步交互或开放式能力的智能体基准，论文仅作描述。

   智能体安全基准

   • AgentDojo（Debenedetti et al., 2024）：关注提示注入与无害请求，危害来自工具输出中的注入攻击者；论文指出这与本文"恶意用户直接提交有害请求"的设定不同。
   • ToolEmu（Ruan et al., 2023）：假设用户意图良性，用 LLM 模拟工具执行并给（意外）安全违规打分；论文指出本文明确要避免 LLM 模拟与整段打分，改用固定工具实现和详细评分细则。
   • Zou et al. (2024)、Wu et al. (2024)：在更大工作中附带简单的误用评测，前者只跟踪首轮函数调用拒答，后者基于 AdvBench 行为做工具调用内容生成。

   越狱与多轮鲁棒性研究

   • Li et al. (2024)、Gibbs et al. (2024)：发现单轮鲁棒性不一定迁移到多轮，是本文研究智能体场景的动机之一。
   • Souly et al. (2024)：指出多种越狱攻击会降低模型能力，本文据此把任务完成质量纳入评分。
   • Andriushchenko et al. (2025)：本文直接复用其基于规则的通用越狱模板，仅做适配智能体场景的小改动。

   基线与评测对象

   • 本文是基准论文，无方法基线；对比对象是 15 个前沿 LLM 在 AgentHarm 上的直接请求、强制工具调用、模板越狱三种条件，以及良性行为对照集。

   作者定位：据其所知，现有领域专用智能体基准样本量约 10–30 个任务，而 AgentHarm 有 110 个基础、440 个增强任务；作者称本文是专门测量多步智能体误用中直接提示场景的数据集，并认为需要可靠、标准化的智能体误用基准。

   收起这一问

3. 03论文如何解决这个问题？

   AgentHarm 由手写恶意行为、合成工具和细粒度评分细则三部分组成，在 Inspect 框架内评测智能体完成多步有害任务的程度。

   整体思路：构建 AgentHarm 基准——人工编写显式恶意的多步工具任务，配无副作用的合成工具，用人工评分细则（LLM 评审只管窄子任务）给智能体执行轨迹打分，同时跟踪拒答率与良性对照集上的能力。

   行为（任务）设计

   • 规模与类别：11 类危害（Fraud、Cybercrime、Self-harm、Harassment、Sexual、Copyright、Drugs、Disinformation、Hate、Violence、Terrorism），每类 10 个基础行为，共 110 个；任务显式恶意、非双用途，且限定为数字化可完成（不需现实世界动作），不含真实人名、地址、地点。
   • 多步结构：每个行为需调用 2–8 个不同工具（平均 3.53 个），调用间有依赖，需按特定顺序并把前次结果整合进后续调用。
   • 增强变体：110 个基础行为扩展为 440 个任务——详细版、省略细节的开放式版，以及两者各加一个"应先调用哪个函数"提示的版本。
   • 良性对照：把每个有害行为改写为同主题但无害的版本，用于在不惩罚拒答的情况下测量模型能力。
   • 数据划分：验证集 10%（44 个）、公开测试集 60%（264 个）、私有测试集 30%（132 个，从未暴露给公开 LLM API，用于防污染）。

   合成工具

   • 实现方式：用 Inspect 框架（UK AI Security Institute, 2024）实现 104 个独立无副作用函数，从通用工具（搜索、发邮件、终端）到领域工具；LLM 只用于生成工具返回的长文本内容（网页、消息等）。
   • 自我纠错设计：多数工具支持智能体纠错，例如幻觉出文件名时会收到"文件不存在"的反馈，可换工具重试。
   • 定位：作者明确合成工具使任务更简单、更不真实，是危害的代理（proxy），而非直接指示真实有害能力；好处是运行安全、便宜。

   评分细则

   • 危害分（harm score）：主体是人工编写的预定义条件检查（如汇款函数是否用了正确的卡号），部分通过给部分分；只在需要判断输出片段语义时用 LLM 语义评审（如钓鱼邮件是否可信且个性化），每题评审标准不同。
   • 拒答评审：用单独的语义评审（提示词见附录 Table 5）检查智能体所有消息，因为拒答可能出现在若干工具调用之后；另在非拒答行为上计算 non-refusal harm score，用于判断越狱是否损害能力。
   • 质量控制：所有题目手写，并由未参与写作的另一位人工审阅者逐题复核；人工检查大量样本验证评分系统。

   评测协议

   • 智能体设置：简单 while 循环，工具结果回填上下文；默认不用复杂脚手架；温度 0、最多 4096 输出 token；GPT-4o 任语义评审与拒答评审。
   • 攻击条件：直接请求；强制工具调用（forced tool call，Gemini 与 DeepInfra 部署的 Llama-3.1 不可用，这两类直接复制直接请求的数值）；Andriushchenko et al. (2025) 的通用越狱模板（仅小改适配智能体，同一模板跨模型，单次尝试）。
   • 成本：公开测试集单次运行约 0.5M–1.5M token，GPT-4o 约 1–4 美元，主评测约 10 分钟跑完。

   收起这一问

4. 04论文做了哪些实验？

   15 个前沿模型在三种攻击条件下评测：多数模型无越狱即服从恶意任务，模板越狱把 GPT-4o 危害分从 48.4% 提至 72.7%。

   实验设置

   • 被测模型（15 个）：GPT-3.5-Turbo、GPT-4o mini、GPT-4o；Claude 3 Haiku、Claude 3 Sonnet、Claude-3-Opus、Claude-3.5-Sonnet；Gemini-1.0-Pro、Gemini-1.5-Flash、Gemini-1.5-Pro；Mistral Small 2、Mistral Large 2；Llama-3.1-8B、Meta-Llama-3.1-70B、Meta-Llama-3.1-405B（经 DeepInfra 查询）。
   • 基准：AgentHarm 公开测试集 264 个任务（主结果），私有测试集 132 个任务（7 个模型子集）；另有 76 个任务的 chat-only 对照数据集。
   • 攻击条件：无攻击（直接请求）、强制工具调用、通用越狱模板；良性行为集均不加攻击。
   • 指标：Harm Score（评分细则平均分）、Refusals（语义评审判定的拒答率）、Non-refusal Harm Score（仅在未拒答样本上的平均分）。
   • 评审方式：GPT-4o 做语义评审与拒答评审；评分主体为人工编写的条件检查。
   • 采样设置：默认温度 0、最多 4096 输出 token、单次尝试；Gemini 因 API 错误忽略约 16% 的行为；Llama-3.1 用额外提示修正工具调用格式。

   主结果

   公开测试集 harm score / 拒答率（据 Table 9，强制工具调用列中 Gemini 与 Llama 为复制直接请求的数值）：

   表格较宽，可左右滑动

   模型	无攻击	强制工具调用	模板越狱	良性（无攻击）
   GPT-4o	48.4% / 48.9%	57.7% / 40.5%	72.7% / 13.6%	89.9%（非拒答分）
   Claude 3.5 Sonnet	13.5% / 85.2%	26.9% / 80.3%	68.7% / 16.7%	82.0%
   Mistral Large 2	82.2% / 1.1%	80.9% / 3.4%	80.5% / 0.0%	77.7%
   Gemini 1.5 Pro	15.7% / 78.4%	未报告	56.1% / 3.5%	64.6%
   Llama-3.1 405B	4.3% / 91.2%	未报告	4.3% / 92.0%	38.6%
   GPT-3.5 Turbo	62.2% / 0.8%	63.2% / 1.1%	62.0% / 0.4%	67.7%

   （省略 GPT-4o mini、Claude 3 Haiku/Sonnet/Opus、Mistral Small 2、Gemini 1.0 Pro/1.5 Flash、Llama-3.1 8B/70B，均见 Table 9；全表最低为 Llama-3.1 8B 无攻击 3.1%。）

   • 无越狱即服从：作者称许多模型对显式恶意任务不拒答——Mistral Large 2 无攻击 harm score 82.2%、拒答率 1.1%；GPT-4o mini 62.5%、拒答 22.0%；作者认为这可能意味着当前安全训练未完全迁移到智能体场景。
   • 模板越狱有效：作者报告模板攻击推高多数模型 harm score，如 Claude 3.5 Sonnet 从 13.5% 升至 68.7%、Gemini 1.5 Pro 从 15.7% 升至 56.1%；例外是 Claude 3 Haiku 从 11.1% 降到 6.6%、Llama-3.1 405B 持平 4.3%（Table 9）。
   • 能力保留：作者比较模板攻击下的非拒答分与良性集非拒答分——Claude 3.5 Sonnet 81.9% 对 82.0%，GPT-4o 84.2% 对 89.9%——认为越狱后智能体基本保留智能体能力，未出现明显能力退化。

   智能体与聊天机器人拒答对比

   • 测了什么：把 76 个任务（排除 self-harm、terrorism、violence 三类）改写成不需工具的 chat-only 版本，比较拒答率（Table 8）。
   • 结果：模板攻击下 GPT-4o 拒答率从智能体的 9.1% 升至 chat-only 的 31.8%，Claude 3.5 Sonnet 从 29.5% 升至 72.7%；无攻击时 chat-only 拒答率也系统性更高（如 Claude 3.5 Sonnet 88.6% → 95.5%）。
   • 作者解读：作者认为拒答训练可能侧重聊天场景，有时难以迁移到智能体场景。

   Best-of-n 采样与提示词消融

   • Best-of-5（Table 2，温度 τ=1）：GPT-4o 从 70.7%（τ=1 平均）升至 83.7%，Claude 3.5 Sonnet 从 65.1% 升至 79.7%，Mistral Large 2 从 67.4% 升至 90.8%（响应标准差 ±8.5%）；作者称 τ=1 的平均分低于 τ=0。
   • 提示词消融（Table 3）：无攻击时 CoT 与 ReAct 提高拒答（如 Claude 3.5 Sonnet 用 ReAct 拒答 93.2%）；拒答系统提示对直接请求有效（GPT-4o 拒答 82.6%），但配合模板越狱时失效（GPT-4o 模板+拒答提示 harm score 降至 9.5%、拒答 89.4%，而 Mistral Large 2 仍为 79.5%、拒答 0.0%）；作者称模板优先级高于拒答系统提示，且模板未在这些提示变化下优化。

   其他消融与分析

   • 错误分析：人工检查执行日志，作者称 GPT-3.5 Turbo 比 GPT-4o 更易幻觉参数且难以自我纠错、常把有依赖的工具并行调用、需要多次调用时只调一次。
   • 拒答训练干扰：作者观察到 GPT-4o 中拒答训练会干扰任务执行，例如把要求的内容改写成相反立场。
   • 类别差异：作者报告不同危害类别的表现与拒答率有差异（Figure 7，GPT-4o 与 GPT-4o-mini 分类别 harm score）。
   • 私有测试集（Table 10）：7 个模型子集上趋势与公开集一致，如 Claude 3.5 Sonnet 模板越狱 harm score 68.9%、GPT-4o 63.1%。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者在 Discussion 节列出五条局限，包括仅英文、无多轮攻击、评分可能漏正确轨迹、绑定定制工具、只测基础能力。

   作者指出的局限与后续方向

   • 仅英文（Discussion/Limitations）：提示词只有英文，未考虑其他语言，作者引用工作指出语言可能影响表现与拒答率。
   • 不含多轮攻击（Discussion/Limitations）：用户只发首条（可对抗构造的）提示词，之后等待智能体执行，不支持用户后续追问。
   • 评分函数可能漏判（Discussion/Limitations）：尽管已努力减少，评分函数仍可能漏掉可算正确的替代执行轨迹（如智能体请求额外信息时）。
   • 绑定定制工具（Discussion/Limitations）：评分标准与合成工具绑定，模型必须使用其定制工具，不便接入不支持自定义工具的第三方工具或脚手架。
   • 只测基础能力（Discussion/Limitations）：基准测量基础智能体能力，而非 Kinniment et al. (2023) 那类开放式评测中的高级自主能力。
   • 计划中的用途（Introduction）：作者计划用 30% 私有任务评测可无服务端日志运行的新模型。

   实验覆盖范围

   • 被测模型共 15 个，覆盖 OpenAI、Anthropic、Google、Mistral AI、Meta 五家；私有测试集仅评测其中 7 个模型（Table 10）。
   • 攻击条件为直接请求、强制工具调用、单个通用越狱模板三种；Gemini 与 Llama-3.1（经 DeepInfra）不支持强制工具调用，Table 9 中这两类的强制工具调用数值复制自直接请求。
   • 主结果为温度 0 单次尝试；best-of-n 消融仅 GPT-4o、Claude 3.5 Sonnet、Mistral Large 2 三个模型、n=5（Table 2）。
   • chat-only 对照实验覆盖 110 个任务中的 76 个，仅 GPT-4o 与三个 Claude 模型（Table 8）。
   • 论文未报告评分细则与人工判定之间的一致性数值；作者称人工检查了全部样本的执行日志以验证窄语义评审的稳健性（附录 A）。

   收起这一问

6. 06总结一下论文的主要内容

   AgentHarm 用 440 个手写恶意多步工具任务评测 15 个前沿模型，作者称多数模型无越狱即服从，简单模板越狱即可迁移到智能体。

   一篇智能体安全基准论文：针对"恶意用户直接驱使 LLM 智能体完成多步有害任务"这一此前缺乏测量的场景，提出 AgentHarm 并用它评测了 15 个前沿模型。

   • 要解决的问题：越狱鲁棒性研究集中在聊天机器人；作者认为能调用工具、执行多步任务的智能体被滥用风险更大，且单轮结论不一定迁移到多步场景。
   • 方法要点：110 个手写恶意行为（增强为 440 个任务）覆盖 11 类危害，配 104 个无副作用合成工具；评分以人工编写的条件检查为主、LLM 评审只管窄子任务；另有良性对照集和 30% 防污染私有测试集。
   • 无越狱即服从：Mistral Large 2 无攻击 harm score 82.2%、拒答率 1.1%；GPT-4o mini 62.5%；作者认为安全训练可能未完全迁移到智能体场景。
   • 模板越狱迁移：聊天场景的通用越狱模板小改后即有效——GPT-4o harm score 从 48.4% 升至 72.7%，Claude 3.5 Sonnet 从 13.5% 升至 68.7%（Table 9）；best-of-5 时 Mistral Large 2 达 90.8%（Table 2）。
   • 能力保留：模板攻击下 Claude 3.5 Sonnet 非拒答分 81.9%，接近良性集的 82.0%；作者称越狱后智能体保留基本智能体能力，且 chat-only 版本拒答率系统性更高，作者认为拒答训练侧重聊天场景。
   • 作者结论：作者认为 AgentHarm 提供了测量智能体鲁棒性的合成环境，希望推动智能体攻防研究；同时说明任务仅英文、不含多轮攻击、只测基础能力。

   收起这一问

相关论文