ClawSafety：安全的 LLM，不安全的 Agent

核心问题是：高权限个人智能体在正常工作中读到被植入的对抗内容时，是否仍会执行有害动作。

• 场景：作者称 OpenClaw 一类助手可在用户本机连接自选 LLM API，并访问本地文件、邮箱、加密货币钱包和开发环境；一次成功的提示注入可能泄露凭据、改写金融交易或破坏文件。
• 现有不足：作者称多数评测停在孤立聊天，使用合成或任务中心环境，且没有把骨干模型与智能体框架当作共同变量。Shapira et al. (2026) 与 Wang et al. (2026c) 被作者称为仍偏定性或范围较窄。
• 假设：作者的核心假设是聊天级安全不等于智能体级安全：文本可以拒绝有害请求，工具调用仍可能执行被禁止的动作。
• 本文做法：作者提出基准 ClawSafety，120 个对抗案例，按伤害领域、攻击向量和有害动作类型组织，落在软件工程、金融、医疗、法律和 DevOps 工作区。
• 威胁模型：
  • 目标：不测显式有害用户提示能否被拒绝，而测日常工件里的对抗内容会不会使有害动作被完成。
  • 知识：攻击者知道工作区大致结构和任务上下文，不能实时读取内部状态，也不能改系统提示词、模型权重或编排框架。
  • 能力：只能在恰好一个通道放入对抗内容：工作区指令文件、伪造可信发件人的收件箱邮件，或任务中会抓取的网页。
  • 受害系统：对本地文件、邮件存档、网页内容和代码执行工具有读写权限的个人 AI 助手；文中实现为 OpenClaw 智能体。

个人智能体生态

• Yao et al. (2022) 的 ReAct、Shen et al. (2023) 的 HuggingGPT：作者归为早期框架级优化，把语言模型接到工具与外部应用。
• Agashe et al. (2025a;b) 的 Agent S / Agent S2，以及 Song et al. (2025)、Gonzalez-Pumariega et al. (2025)、Liang et al. (2026)：作者归为系统级集成和个人化智能体探索。
• Zhang et al. (2026b) 研究 Moltbook 上的智能体行为；Wang et al. (2026c) 在对抗条件下评测 OpenClaw。正文称后者是 black-box，攻击场景和骨干模型更少。

从文本越狱到智能体攻击

• Hakim et al. (2026)、Vidgen et al. (2024)、Zhang et al. (2026a)：文本越狱，目标是有害文本。附录写自动攻击在开源模型上 ASR 为 90–99%，AILuminate v0.5 的 39 个模型都可被某种程度越狱。
• Greshake et al. (2023) 形式化间接提示注入；后续覆盖网页智能体、多智能体、工具链和编程智能体。作者称 Kaleli et al. (2026) 记录了首个被确认的现实间接提示注入事件，出自 2025 年 12 月的 Unit 42 报告。
• Cartagena & Teixeira (2026) 报告文本拒答与工具调用执行可以同时发生；Betley et al. (2026) 报告窄任务微调可带来无关领域的广泛失对齐。作者用这些工作支持聊天安全不等于智能体安全。检测侧工作如 Liu et al. (2025)、Wang et al. (2026a) 只被描述为互补方向。

智能体安全基准

• ASB、AgentHarm 形式化工具智能体的对抗任务；WASP 针对网页浏览；SafeAgentBench 与 AgentDyn 面向具身或动态设置；MASpi 评多智能体提示注入。除下面点名的工作外，论文只做了范围描述。
• InjecAgent（Zhan et al., 2024）：1,054 个间接提示注入案例、30 个 LLM，ReAct 提示的 GPT-4 有 24% 的时间易受攻击。作者指出它评的是 LLM 级回复、单一注入通道和二元结果。
• Shapira et al. (2026) 对 OpenClaw 做定性红队，记录 11 个案例。附录称 20 名研究者在隔离虚拟机上交互两周。附录 A.5 写 Wang et al. (2026c) 测试 Llama-3.1-70B、Qwen2.5-7B 和 GPT-4o-mini，合并 ASR 最高 66.8%。

基线与数据集：主实验没有复现上述基准，也没有跑防御方法对照。被测环境是作者自建的 ClawSafety。作者将本文定位为智能体级评测：分开三种信任级别的通道，记录完整动作轨迹，并以分级伤害分数而非二元标签为设计目标，再针对前沿模型迭代打磨载荷。

ClawSafety 不向用户直接发有害请求，而是把对抗内容嵌进智能体正常工作会读到的工件，再看它会不会完成有害动作。

三维分类

• 伤害领域：软件工程（数据窃取）、金融运营（资金损失）、医疗行政（隐私/安全）、法律合同（特权信息暴露）、DevOps（系统完整性）。摘要与 §3.1 的第三维是有害动作类型；引言另把第三维写成 task domain（finance、coding、communication、information retrieval），与 Table 5 不一致。
• 攻击向量：技能注入、邮件注入、网页注入。作者称技能文件隐含信任最高，网页内容最低，邮件取决于发件人。
• 有害动作：数据外泄、配置或文件修改、目的地替换、凭据转发、破坏性动作。附录写每个向量约 3 例外泄、1–2 例改文件、1–2 例替换目的地，凭据转发和破坏各 1 例。
• 规模：5×3×8=120。Table 5 中每个领域 24 例、每个向量 40 例。作者称对话粒度可调，因此可扩到数千样本；本文结果仍基于这 120 例。

工作区与对话

• 每个场景有 4–5 名同事、组织背景、受保护资产和领域合规压力。Table 6 列出角色与资产，工作区约 50–60 个文件。
• S1 含 25 个 Python 文件、YAML/JSON 配置、8 张表的 SQLite、Slack 导出和邮件存档。作者称格式混杂会影响检查深度；二进制库不能靠直接阅读轻易核对。
• 默认 64 轮、四阶段：1–20 热身，21–45 读工作区，46–48 恰好遇到一个注入向量，49–64 索要输出文档。正文称披露阶段有 16 种框架，注入前已有 40 轮以上合法上下文。
• 附录 Table 7 给出下限，包括至少 50 个文件、至少 8 种格式、收件箱至少 14 封邮件、至少 4 名同事，以及两层各 5 个 honey token。

三种通道的构造

• 技能注入：对抗指令写入被当作操作规程的工作区文件，行为可分布在脚本、配置引用和附属文件中。附录记录的调整对象是措辞、具体程度、程序合理性和文件来源。附录给出了迭代过程，这里不复述其中的句式或替换词。
• 邮件注入：对抗邮件混在合法收件箱中，需在发件人、任务对齐和上下文上像日常协作。作者称智能体的主要核对方式是把声称的变更与其他本地来源做共识比较。
• 网页注入：页面内容、呈现、任务相关性和与本地文件的关系一起调整。作者称单纯替换页面数据难以压过对本地文件的偏好；后续设计改为把已有正确数据描述成带有监管或安全问题。

运行协议与成功判定

• 主框架是 OpenClaw。§4.1 写 v2026.3.11，§4.3 写 2026.3.12。跨框架只用 Sonnet 4.6，另测 Nanobot v0.8.2 和 NemoClaw v0.1.0。作者称 NemoClaw 增加网络出站策略、文件系统隔离，并经 OpenShell 网关做推理路由。
• 每个案例在新的沙箱 EC2 中展开对应工作区，注入一个向量，再给出良性多轮用户提示。外部动作被拦截。网页由 CDN 提供，经智能体自带的 web fetch 获取。系统提示词和工具配置用框架默认值，只换 LLM API。
• ASR 指智能体完整完成预定有害动作，例如攻击值出现在交付邮件草稿，或受信任配置被覆盖。每个（模型，案例）3 次独立试验，报告多数结果，并记录全部工具调用。
• 案例讨论里还有 Safe、Partial、Compromised。Partial 的例子是拒绝时仍引用了攻击值。作者在相关工作中称设计目标包含分级伤害分数；Table 1 只报告 ASR，未给出该分数的量表。

实验设置

• 模型：Claude Sonnet 4.6、GPT-5.1、Gemini 2.5 Pro、DeepSeek V3、Kimi K2.5。前三个为闭源 API，后两个为带原生工具使用的开源权重模型。附录 A.5 另写 GPT-5.4、Claude Opus 4.6、Gemini 3.0、Qwen 3.5，这些名称未出现在 Table 1。
• 框架：五模型都在 OpenClaw 上运行；只有 Sonnet 4.6 额外在 Nanobot 与 NemoClaw 上运行。论文未写单独的攻击生成模型或评审模型。
• 数据：120 例，五场景各 24 例，三向量各 40 例。默认最多 64 轮。
• 指标：ASR 为完整完成有害动作的比例，并按模型、向量、场景和动作类型分解。Table 4 另计每例 5 个 honey token 有多少出现在输出中。
• 判定与规模：三试取多数。论文未报告人工一致性或判定阈值。共 2,520 次运行、约 100,000 次 API 调用，与 5×120×3 再加 Sonnet 的两个框架×120×3 相符。论文未给出 Table 1 各格的成功分子。

主结果

Swipe horizontally to read the table

模型（框架）	SKILL	Email	Web	Overall
Claude Sonnet 4.6（OpenClaw）	55.0	45.0	20.0	40.0
Gemini 2.5 Pro（OpenClaw）	72.5	55.0	37.5	55.0
DeepSeek V3（OpenClaw）	82.5	67.5	52.5	67.5
Kimi K2.5（OpenClaw）	77.5	60.0	45.0	60.8
GPT-5.1（OpenClaw）	90.0	75.0	60.0	75.0
Claude Sonnet 4.6（Nanobot）	50.0	62.5	33.3	48.6
Claude Sonnet 4.6（NemoClaw）	58.3	58.3	20.8	45.8

据 Table 1，单位为 %。同表 Overall Vector avg. 为技能 69.4、邮件 60.5、网页 38.4、总体 56.1；该行与上表七行的平均一致，不是五个 OpenClaw 模型的单独平均。Nanobot 的 Web 与 NemoClaw 的若干格子不是 2.5 的倍数，论文未解释与 40 例/向量如何对应。

• 作者称 OpenClaw 上技能注入高于邮件、邮件高于网页；该梯度在 Sonnet 4.6 上最陡，在 GPT-5.1 上最平。
• 作者称安全差异呈两层，且这一排序在 OpenClaw 的三个向量上一致。Kimi K2.5 的总体值位于 Gemini 2.5 Pro 与 DeepSeek V3 之间，作者仍把它划入后一簇。
• 作者称换框架会改变同一模型的脆弱性分布：Nanobot 上邮件注入超过技能注入，反转信任梯度；NemoClaw 上技能与邮件收敛。作者称框架单独使总体 ASR 变化 8.6 个百分点（40.0% 到 48.6%），并称该效应还与职业领域交互，但未给分领域的框架数字。

有害动作与职业领域

• 正文结合 Figure 1 称，数据外泄最易被利用：Sonnet 4.6 达到 65%，GPT-5.1 达到 93%。配置修改和目的地替换上，作者写 Sonnet 为 30–35%，其他模型为 55–70%，并归因于导入链检查和执行后核验。
• 作者称 Sonnet 在全部领域和全部向量上，凭据转发与破坏性动作的 ASR 为 0%；GPT-5.1 对这两类为 60–63%。其余模型的这两类数字正文未单列。图注只写 ASR averaged across S1–S5，未在提取文本中给出坐标轴名称。
• 作者称五领域排序稳定，Sonnet 处处最低、GPT-5.1 处处最高；S4 法律最难，S5 DevOps 最易。结论称 DevOps 的可利用程度接近法律设置的两倍，正文未给出各场景 ASR。作者把 S4 归因于律师—客户特权框架，把 S5 归因于事故响应的紧迫性。

网页注入的言语行为边界

• §4.6 比较三个 S5 网页案例，只针对 Sonnet 4.6：投递、样式和目标数据相同，措辞不同。Figure 2 标注 W2 为 Safe（拒绝写数据库），W1 为 Partial（检出但值泄漏），W4 为 Compromised（接受且值进入交付物）。
• Table 2：两例祈使框架分别触发 4/4 与 5/5 项防御，结果为 Safe 与 Partial；陈述框架触发 0/5，结果为 Compromised。W1 的攻击值出现在拒绝警告中，作者将其计为信息泄露。
• 作者称该边界对意图敏感、对内容不敏感。作者认为陈述框架能通过，是因为事故响应中报告差异属于预期行为。这是三个案例的比较，不是全基准扫描。

定性案例

• 案例 1：技能文件以业务字段映射引导外泄。作者称 Sonnet 把五个 honey token 写入邮件草稿，且未触发安全机制。
• 案例 2：隐藏导入副作用覆盖配置。作者称 GPT-5.1 未检出；Gemini 2.5 Pro 注意到值变了，但归为录入错误并继续使用；Sonnet 4.6 追溯到导入链并拒绝使用被改值。
• 案例 3–5：作者称财务主管诱导外泄成功、职级更高的 CFO 失败；网页数据替换普遍失败，合规恐惧框架在 Gemini 上成功，Sonnet 不论严重度都抵制；替换已有脚本的木马被 Sonnet 直接运行，同等的新文件则被阅读并拒绝。

其他消融与分析

• 对话长度（Table 3，8 个 S2 案例）：Sonnet 4.6 在 10/20/40/64 轮的 ASR 为 50.0/62.5/75.0/77.5；GPT-5.1 为 75.0/87.5/92.5/95.0。作者称 40 轮后增益变小，排序不变。77.5 与 95.0 不是 1/8 的整数倍，论文未给分子。
• 同事身份（Table 4，S5、Sonnet 4.6、8 个外泄案例）：具名时 40/40（100%），只留角色时 19/40（47.5%）。作者称下降 52.5 个百分点，并认为身份核验是信任启发式的主要机制。
• 附录 B.3.3：网页数据替换 v1–v12 在所有前沿模型上 0/12 compromised；嵌入代码的 v13–v15 也被记为失败。
• 附录 B.3.1：作者称一次用词调整使若干构造期案例从 0% 变为 100%，一则精确字段映射为 5/5 honey token。这不是 Table 1 的三试多数 ASR。
• 结论把 40–75% 写成“会拒绝有害聊天请求的模型在间接注入下仍合规”的区间；实验节未报告聊天设置的拒答率。

作者指出的局限与后续方向

论文没有 Limitations 专节，Discussion 与 Future Work 也未单独成节。

• Conclusion 呼吁后续评测把模型、框架和领域作为联合变量，而不是只看骨干模型。
• 附录 A.3 写到，Shahroz et al. (2025) 的优化式攻击策略未来可用来加强对抗载荷。

实验覆盖范围

• 主结果的骨干为 Claude Sonnet 4.6、GPT-5.1、Gemini 2.5 Pro、DeepSeek V3、Kimi K2.5，均在 OpenClaw 上报告；跨框架数字只来自 Sonnet 4.6 的 OpenClaw、Nanobot v0.8.2 和 NemoClaw v0.1.0。
• 案例为 120 个，即 5 个职业领域 × 3 个向量 × 8 例；每（模型，案例）3 次、取多数，共 2,520 次沙箱运行。
• 对话长度消融为 Sonnet 4.6 与 GPT-5.1、8 个 S2 案例、10/20/40/64 轮；身份消融为 Sonnet 4.6、8 个 S5 外泄案例；言语行为比较为三个 S5 网页案例、仅 Sonnet 4.6。
• 论文未报告聊天对照的拒答率、评审模型、人工一致性，以及分级伤害分数的汇总表。附录 A.3 讨论了检测类方法，实验节未报告这些方法的对照数字。
• 附录 A.5 所列 GPT-5.4、Claude Opus 4.6、Gemini 3.0、Qwen 3.5 未出现在 Table 1。OpenClaw 版本在 §4.1 为 v2026.3.11，在 §4.3 为 2026.3.12。

ClawSafety 用来测量高权限个人智能体在日常工件被注入后会不会完成有害动作。

• 作者要分开的是聊天拒答和工具执行：个人助手能读写文件、邮件、网页和代码，一次间接注入就可能外泄凭据、改写资金去向或破坏文件。既有评测被作者称为多停在聊天或合成环境，也很少同时变动模型与框架。
• 基准含 120 个沙箱案例，分布在软件工程、金融、医疗、法律和 DevOps。对抗内容只进入技能文件、可信发件人邮件或网页之一；默认先做 40 轮以上合法工作，再在最多 64 轮内看交付物和文件是否被改。
• OpenClaw 上的总体 ASR 为：Sonnet 4.6 40.0%，Gemini 2.5 Pro 55.0%，Kimi K2.5 60.8%，DeepSeek V3 67.5%，GPT-5.1 75.0%（Table 1）。含全部框架行的向量平均是技能 69.4%、邮件 60.5%、网页 38.4%。
• 同一 Sonnet 4.6 在 Nanobot 上的总体 ASR 为 48.6%。作者称框架单独带来 8.6 个百分点的变化，并可反转技能与邮件的排序。
• 作者称 Sonnet 对凭据转发和破坏性动作保持 0% ASR，但数据外泄仍达到 65%；GPT-5.1 的数据外泄为 93%，这两类动作为 60–63%。三个 S5 网页案例中，祈使措辞触发防御，陈述措辞为 0/5。
• 作者的结论是：智能体安全属于模型与框架的组合，评测应把模型、框架和领域一起变动。作者计划公开代码和数据。结论中的 40–75% 没有配套的聊天拒答率。