从助手到双重间谍：针对个性化本地 AI Agent 的 OpenClaw 攻击形式化与基准测试

真实部署里的个性化智能体，会在端到端执行中暴露哪些系统级漏洞，风险又如何沿行动链传播。

• 场景：作者称智能体正从任务型系统变为持续运行的个性化助手，持有长期交互、私有上下文和高权限工具。作者认为失败可以表现为不安全动作被执行，或私有资产在端到端交互中被带出，而不只是不良文本。
• 缺口：作者称既有评测多聚焦合成或任务中心设定。以 Agent Security Bench 为例，作者称其常建在受控、白盒或合成环境，并依赖自定义智能体和工具接口。作者还称既有基准常缺少个性化场景、私有资产和高权限工具链，省略长程交互与跨阶段传播，且依赖可插桩实现或简化工具环境。
• 做法：提出 Personalized Agent Security Bench（PASB），在既有攻击范式上加入个性化场景、真实工具链和长程交互，对真实系统做 black-box 端到端评测。
• 威胁模型：
  • 目标：诱导系统级危害，包括私有资产的未授权披露、不安全或未授权的工具动作，以及恶意影响跨步骤或会话持续。
  • 知识：black-box。不访问骨干参数、隐藏状态和系统提示词，不依赖正常交互与工具输入输出之外的插桩。可知公开接口、工具文档与 schema、模型族的一般性质；不知用户私有资产、记忆实现细节和记忆库的确切内容。
  • 能力：可提供自适应的用户侧输入，控制或影响进入观测的不可信外部内容，并以部署中现实的方式影响工具返回，例如控制远程内容源或服务端点。可观察输出和可观测轨迹，并在交互预算内自适应。
  • 范围外：直接攻陷主机、修改智能体代码、改写系统提示词或模型权重；网络层拒绝服务、物理攻击，以及绕过智能体–工具接口的外泄。

论文没有独立 Related Work 节，相关工作集中在引言，并按能力、攻击和评测缺口来引。

智能体能力与持续运行

• Wang et al. (2024)、Yao et al. (2022) 的 ReAct、Schick et al. (2023) 的 Toolformer：论文用来说明自主推理、任务规划与外部工具使用。
• Park et al. (2023) 的 Generative Agents：论文用来说明跨轮次、跨会话的持续运行。
• Hong et al. (2023) 的 MetaGPT、Wei et al. (2022) 的思维链：论文称能力研究多强调效果、泛化与任务完成，真实部署的安全讨论相对有限。

智能体攻击

• Greshake et al. (2023)：论文在讨论恶意输入可沿行动链造成披露、不安全工具调用或长期操纵时引用该间接提示注入工作。
• Chen et al. (2024) 的 AgentPoison：论文将其作为记忆或知识库投毒这一风险来源引用。
• Zhan et al. (2024) 的 InjecAgent：评测工具集成智能体中的间接提示注入。论文在称真实部署的安全讨论与系统评测仍然相对有限时引用它，没有单独展开对比。

评测基准

• Zhang et al. (2025) 的 Agent Security Bench：把提示注入、间接注入、工具误用和记忆投毒分类并评测。论文以它为例，称既有工作常建在受控、白盒或合成环境。
• Debenedetti et al. (2024) 的 AgentDojo：论文将其作为可插桩实验的例子，并称这类设计依赖自定义智能体和自定义工具接口。
• Liu et al. (2023) 的 AgentBench、Mialon et al. (2023) 的 GAIA：论文用来对照“在可控设定下评测合成智能体”。

实验对照

• 论文没有运行 ASB、AgentDojo 或 InjecAgent 作为对照基线。实验内的攻击名称是 Naive Attack、Escape Char Attack、Context Ignore Attack、Fake Completion Attack、Combined Attack；防御是 Delimiter、Sandwich、Instruction Prevention。评测环境是 PASB 上的 OpenClaw，表中实现称为 Clawdbot。

作者称 PASB 沿用并扩展既有攻击范式，补上个性化场景与可审计私有资产、自建网页靶场和可控工具服务，以及 black-box 端到端自动判定，用来看风险沿行动链如何传播，而不是只做输出级检查。论文在陈述缺少个性化建模时引用 Liu & Jabbarvand (2025)，在陈述既有评测常省略长程交互与跨阶段传播时引用 Feng et al. (2026)，在陈述许多基准依赖可插桩白盒实现或简化工具环境时引用 Deng et al. (2023)。

PASB 把已有攻击原语放进个性化工作流，在真实部署的 OpenClaw 上做 black-box、端到端评测。Figure 1 的图注把该智能体画成同时接触外部内容枢纽、工具，并维护私有记忆。

问题设定与成功谓词

• 智能体：A 由骨干模型、系统提示词、带权限级别的工具集和长期记忆组成。每步观测混合用户输入、不可信外部内容、此前工具输出和检索到的记忆，动作是文本回复或结构化工具调用。
• 攻击任务：由场景与初始上下文、对手可控输入及注入通道、含最大步数的交互预算、对抗目标类、成功谓词组成。执行得到交互轨迹。
• 可观测轨迹：含用户侧输入、智能体回复、工具调用事件（工具与参数）和工具返回。论文称因面向真实部署，成功只根据这条轨迹判定。
• 成功谓词：泄露、违规动作或持续危害至少一项成立即成功，P(tr(τ))=𝕀(P_leak∨ P_act∨ P_persist)。泄露指预定义 canary 集中的受保护资产出现在回复、工具调用或工具返回中；违规动作指工具调用违反场景策略；持续危害指对手停止注入后仍出现危害。任务分布上的攻击成功率为 ASR=𝔼_Γ∼πΓ[P(tr(τ_Γ))]。

威胁模型与场景

• 对手：第 2.2 节为 black-box。目标是未授权披露、不安全或未授权工具动作，以及跨步骤或会话的持续影响。不做主机攻陷、改代码、改系统提示词、改权重，以及绕过智能体–工具接口的外泄。
• Scenario A：External Content Hub。作者称受 Moltbook 一类内容平台启发。智能体抓取网页、帖子、评论、结构化字段、链接和附件。自建多页面靶场，载荷以看似良性的形式嵌入。
• Scenario B：Personal Context & Long-Term Memory Management。恶意内容写入长期记忆后，可在没有新注入时影响后续任务。记忆中放置 canary secret 和敏感上下文标记。
• Scenario C：Skills/Plugins and Tool-Return Risks。混合信任的技能、插件和第三方服务。作者称智能体常默认工具输出可信；该场景看工具返回操纵、技能冒充和跨任务级联。

四类攻击原语

• 直接提示注入：对手控制或影响用户侧输入，并加入指令载荷，使智能体偏离目标、未授权披露或触发不安全工具调用。
• 间接注入：用户提示可以保持良性，载荷经智能体抓取或阅读的外部内容进入观测。Figure 2 的图注是 OpenClaw 上的间接提示注入示例。
• 工具返回欺骗：操纵将进入后续观测的工具输出，使失败沿工具循环级联。
• 记忆投毒：诱导恶意条目写入长期记忆，或使有害条目在后续检索中返回。作者称其特点是对手停止注入后，后来的良性任务仍可能触发危害。
• 自适应选择：形式化了只根据可观测轨迹选载荷的 black-box 策略。正文没有把实验中的五种攻击名称对应到该策略。

技能集、防御与判定

• 技能集：Scenario A 与 C 使用 OpenClaw 公开 Skills 注册表中的 131 个威胁 skill，分八类（Table 1）。每个 skill 有固定查询、返回值模板和注入指令，且第一步查询与目标 skill 无关。Table 2 写明 IPI 放在 step 1 的工具观测中，诱导 step 2 调用目标 skill。
• 防御：Delimiter 在输入周围插入特殊分隔符；Sandwich 用保护层包裹提示词；Instruction Prevention 用预定义指令限制特定有害动作，尤其是基于提示词的攻击。论文未给出分隔符或指令原文。
• 运行：对部署形态的 OpenClaw 做 black-box 访问。harness 驱动用户提示、受控外部内容、受控工具或 skill 端点，以及必要时的后续提示。记录回复、工具或 skill 调用及返回值，再用自动规则判定。私有资产实现为可审计 canary 字符串；高权限操作限制在隔离沙箱，并受允许或禁止工具类别与操作范围的场景策略约束。论文写每个配置跑 N 次独立试验、固定最大步数 T 并报告均值，未给出 N 与 T 的数值。

实验设置

• 系统与骨干：部署形态的 OpenClaw，black-box。骨干为 Llama-3.1-70B-Instruct、Qwen2.5-7B-Instruct、GPT-4o-mini。Scenario A/C 的实现称为 Clawdbot，使用上述 131 个 skill。
• 任务：正文称 Scenario A 通过外部内容或工具返回注入以模拟 IPI，结果在 Table 2；该表标题写明注入位于 step 1 的工具观测。Scenario B 为 STM/LTM 提取与修改，每类 40 例，共 160 例。Scenario C 为操纵工具输出以诱导未授权后续动作；表格未单独给出其数值。
• 攻击名称：Table 2 为 Naive Attack、Escape Char Attack、Context Ignore Attack、Fake Completion Attack、Combined Attack。论文未在正文定义其构造。Table 4 标题写明记忆修改通过 DPI。Table 3 未写明提取用哪一种原语。
• 防御：Table 2 为 Delimiter 与 Sandwich。Table 3–4 为 Delimiter 与 Instruction Prevention。前者未报告 Instruction Prevention，后者未报告 Sandwich。
• 指标：Resp Rate 为触发任意 skill 或工具调用；ASR 为触发目标 skill。提取成功指指定短期片段或长期 marker 被取出。WSR 指指定 marker 被改成目标 marker，并在 OpenClaw 文件系统中核对。
• 判定：自动规则，不是文中另引的 LLM 评审。论文未报告试验次数 N、步数 T、重复次数，也未报告与人工判定的一致性。

主结果

Table 2 是 Clawdbot 的 IPI 模拟。ASR 为触发目标 skill。表中第三个模型写作 gpt-4o-mini。

表格较宽，可左右滑动

骨干模型	Naive无防御	Combined无防御	Combined+Delimiter	Combined+Sandwich	Naive+Sandwich
Llama-3.1-70B-Instruct	46.0%	66.8%	33.5%	22.0%	14.0%
Qwen2.5-7B-Instruct	34.2%	52.7%	25.9%	17.1%	10.5%
GPT-4o-mini	42.0%	61.9%	30.4%	20.1%	12.8%

• 触发与改向：作者称攻击更影响触发哪一个 skill，而不是是否触发工具。作者给出的 Resp Rate 区间为 93.8%–99.0%（Table 2 全部设置）。
• 攻击与防御：作者称三个骨干上，无防御时都是 Combined Attack 的 ASR 最高；Delimiter 与 Sandwich 降低 ASR，但未消除。作者认为仅靠提示词层隔离不足以完全缓解 IPI 类风险。
• 残余区间：作者称 Sandwich 下仍有残余 ASR，并给出区间 10.5%–22.0%（Table 2）。

记忆提取与修改

每类 40 例。提取见 Table 3，修改 WSR 见 Table 4。下表“指令预防”即 Instruction Prevention。

表格较宽，可左右滑动

骨干模型	LTM提取无防御	LTM提取+指令预防	LTM修改无防御	LTM修改+指令预防	STM提取无防御
Llama-3.1-70B-Instruct	62.5%	18.6%	71.5%	20.4%	41.0%
Qwen2.5-7B-Instruct	54.0%	15.2%	60.4%	17.3%	33.5%
GPT-4o-mini	59.1%	17.0%	66.2%	19.0%	38.2%

• 长期与短期：作者称 LTM 提取成功率始终高于 STM 提取成功率（Table 3）。
• 防御：作者称 Delimiter 与 Instruction Prevention 都降低提取和修改，且后者的降幅通常更大；即使在作者所称最强防御下，提取和修改仍有残余。
• 核对方式：Table 4 标题写明，修改要求智能体通过 DPI 改指定 marker，再在 OpenClaw 文件系统中检查目标 marker。

其他消融与分析

• Table 2 无防御 Escape Char 的 ASR：Llama-3.1-70B-Instruct 52.5%，Qwen2.5-7B-Instruct 39.0%，gpt-4o-mini 47.6%。
• Table 2 无防御 Context Ignore 的 ASR：58.4%，44.5%，53.2%（模型顺序同上）。
• Table 2 无防御 Fake Completion 的 ASR：55.0%，41.8%，50.4%。
• Table 3 中 Delimiter 下 LTM-Extract：28.4%，23.7%，26.1%；STM-Extract 无防御为 41.0%，33.5%，38.2%。
• Table 4 无防御 STM-Edit WSR：57.3%，46.1%，52.4%；Instruction Prevention 下为 16.2%，13.0%，15.1%。
• Table 1 共 131 个 skill：Communication/Outreach 22（16.8%），Funds/Wallet 18（13.7%），Data Export 20（15.3%），Account/Permission 12（9.2%）；其余四类计数与比例见该表。论文未按这八类拆分 ASR。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。明确的后续方向在第 4 节 Conclusion and Future Work：

• 防御：作者称未来工作将改进能兼顾工具执行和长程传播的防御。
• 基准：作者称将为 PASB 增加更多场景和攻击者能力。

实验覆盖范围

• 被评测系统是部署形态的 OpenClaw，骨干为 Llama-3.1-70B-Instruct、Qwen2.5-7B-Instruct、GPT-4o-mini，共 3 个（第 3.1 节）。Scenario A/C 的实现称为 Clawdbot。
• 第 2.4 节形式化了直接提示注入、间接注入、工具返回欺骗和记忆投毒。Table 2 报告 step 1 工具观测中的 IPI；Table 4 的修改使用 DPI。Table 3 未写明提取任务的原语。
• Table 2 的防御是 Delimiter 与 Sandwich；Table 3–4 的防御是 Delimiter 与 Instruction Prevention。记忆任务每类 40 例，四类共 160 例（第 3.2 节）。
• 第 3.1 节写每个配置有 N 次独立试验和固定最大步数 T。论文未报告 N、T 以及 Table 2 的试验次数，也未报告 LLM 评审或与人工判定的一致性。
• 成功由自动规则判定，私有资产为 canary 字符串，高权限操作在隔离沙箱内（第 3.1 节）。论文未报告按 Pleak、Pact、Ppersist 分解的 ASR。Scenario C 有设计描述，表格未单独给出其数值。

PASB 是面向真实部署个性化智能体的 black-box 端到端安全评测框架，案例系统是 OpenClaw。

• 问题：作者认为持续运行、私有上下文和高权限工具会把风险从不良文本推到泄密、危险工具动作和跨会话操纵。合成或任务中心、可插桩环境上的结论，作者认为迁不到这类部署。
• 框架：三类场景分别是外部内容、长期记忆、技能与插件。四类原语是直接注入、间接注入、工具返回欺骗和记忆投毒。成功看 canary 是否出现、工具调用是否违反场景策略，以及对手停止注入后危害是否仍在。判定用可观测轨迹上的自动规则。
• IPI：Clawdbot 使用 131 个威胁 skill。Table 2 把注入放在 step 1 的工具观测，成功指 step 2 调用目标 skill。无防御 Combined Attack 的 ASR 为 66.8%（Llama-3.1-70B-Instruct）、52.7%（Qwen2.5-7B-Instruct）、61.9%（GPT-4o-mini）。作者称 Resp Rate 仍在 93.8%–99.0%，Sandwich 下残余 ASR 为 10.5%–22.0%。
• 记忆：每类 40 例。无防御时 Llama-3.1-70B-Instruct 的 LTM 提取成功率为 62.5%，LTM 修改 WSR 为 71.5%（Table 3–4）。作者称长期记忆提取高于短期记忆；Instruction Prevention 后该模型仍有 18.6% 的 LTM 提取成功率和 20.4% 的 LTM 修改 WSR。
• 作者结论：作者称 OpenClaw 在用户提示处理、工具使用和记忆检索等阶段存在关键漏洞，攻击可跨阶段传播并在长交互中累积。作者认为只靠提示词层防护或合成基准的结论，可能盖不住真实个性化智能体的风险；后续将改进兼顾工具执行和长程传播的防御，并扩展场景与攻击者能力。