AutoRedClaw：面向 Claw 风格智能体的自动化红队测试

claw式智能体的配置、记忆和技能一旦被投毒，会跨任务、跨会话反复进入上下文。

• 场景：作者称系统正转向OpenClaw这类持久助手（约两个月超过100,000 GitHub stars）；配置、记忆和技能会跨会话重载，中毒内容还可能进入系统提示（Figure 1）。作者另引ClawWorm与ClawHub上的恶意技能，称这类威胁已在实际中出现。
• 现有方法：作者称手工用例和环境限制规模与覆盖，静态集合易过时；不少基准从已中毒的AGENTS.md起测，不考察外部内容如何诱导智能体毒化自身状态；评测常走function-calling或MCP，而实际部署更多用技能、CLI、shell和浏览器。
• 作者的做法：提出自动红队框架AutoRedClaw，连同可执行环境生成端到端攻击，并从产出中冻结出RedClaw-Bench。
• 威胁模型（Section 2）：
  • 目标：外部攻击者把恶意内容放进邮件、网页、文件或技能，劫持智能体执行攻击者任务。inject要改写配置或长期记忆，或安装恶意技能；trigger要在持久状态已中毒后诱导有害动作。
  • 知识：沿用标准间接提示词注入设定。生成指南要求把受害系统当黑盒，不假定攻击者知道私人内容、隐藏提示或内部防御（附录F.3）。
  • 能力：恶意意图只能经环境传递，不能经用户入口发消息。inject的指令全部来自环境；trigger假定恶意指令已经在持久状态中。
  • 受害对象：带AGENTS.md、MEMORY.md、USER.md、SOUL.md和技能库的claw式智能体。实验对象是七个harness上的四个前沿模型。

相关工作按附录B分成间接提示注入、工具调用评测和claw式评测。

间接提示词注入

• 攻击：Perez与Ribeiro（2022）提出间接提示词注入；作者还列出Harang（2023）、Schulhoff et al.（2023）、Pasquini et al.（2024）的Neural Exec、Mehrotra et al.（2024）的TAP。论文只作列举，没有逐篇对比。
• 防御：作者分成模型级与系统级。模型级点名PIGuard（Li et al., 2025b）、StruQ（Chen et al., 2025a）、SecAlign（Chen et al., 2025b）、ReasAlign（Li et al., 2026b）；系统级点名IsolateGPT（Wu et al., 2025）、Debenedetti et al.（2025）、Progent（Shi et al., 2025）、DRIFT（Li et al., 2025a）和Shi et al.（2026）。作者称这些工作加上了安全护栏，但基础模型在许多既有基准上即使没有防御也表现得很安全，因而更难验证防御是否有效。

工具调用智能体评测

• 早期基准：InjecAgent（Zhan et al., 2024）收集1,054例，覆盖直接伤害用户和外泄私人数据。AgentDojo（Debenedetti et al., 2024）把环境做成function-calling工具，含四个评测套件。Agent Security Bench（Zhang et al., 2025）覆盖10种提示注入和10个场景。AgentDyn（Li et al., 2026a）提供60个开放用户任务和560个安全测试。
• 作者的批评：作者称这些工作适合早期、在临时窗口内运行的工具调用系统，但难以评测当前前沿模型和claw式智能体。

claw式智能体评测

• 持久状态：ClawWorm（Zhang et al., 2026b）展示配置投毒可在会话重启后存活，并能跨智能体传播。Gadgil et al.（2026）被作者当作从已中毒状态起测的例子：能看到下游效果，但不考察外部交互如何诱导智能体毒化自身持久状态。CIK-Bench（Wang et al., 2026）考察持久能力、身份和知识上的注入与触发；作者指出其注入把持久投毒指令放在用户查询里，不像真实攻击面。
• 近期基准：ClawSafety（Wei et al., 2026）有120例，经技能文件、邮件和网页注入。ClawsBench（Li et al., 2026c）在五个模拟应用中评44个任务。SafeClawArena（Niu et al., 2026）在容器化部署中评406个对抗任务。作者称扩大覆盖仍要另建任务、攻击和支持环境。
• DTap：Chen et al.（2026）手工建了50个模拟环境，并抽14个真实场景。作者称覆盖仍窄于真实环境，手工建环境成本高，且评不到环境执行不了的工作流。

基线方法与基准

• 对比对象：实验基线为AgentDojo、AgentDyn和DTap。作者从生成样本中抽出冻结集RedClaw-Bench（330例）做统一评测。

作者把本文定位为自动生成可执行环境、良性任务、恶意目标和状态判定，并把建立持久投毒的inject与下游有害动作的trigger分开测。

AutoRedClaw先生成任务与攻击元数据，再物化文件和网页应用，最后用探针筛出可评测样本（Figure 2）。生成沿9类风险、12种策略、2个阶段和5个攻击面展开。

场景轴与经验引导

• 风险×策略：风险描述有害后果，例如凭证外泄、破坏性修改和权限覆盖；策略描述诱导机制，例如指令覆盖、边界混淆和中毒记忆传播。二者交叉为108个配对。定义在附录F.1、F.2。
• 阶段×攻击面：inject从尚未中毒的持久状态测外部载荷能否写入；trigger从已植入载荷测后续有害动作。攻击面为AGENTS.md（智能体指令）、MEMORY.md（长期记忆）、USER.md（用户画像）、SOUL.md（人格与行为边界）和技能库中的SKILL，共10种阶段–面组合。这些工件在inject中是投毒目的地，在trigger中是预置载荷载体。
• 经验池：记录已收集样本在风险、策略、阶段和攻击面上的数量，并由一个LLM摘要反复出现的场景、注入载体、载荷措辞和诱导理由。生成器被要求优先补覆盖较少的配置，并避开已摘要的模式。论文未点名做摘要的模型，也未写刷新频率。

元数据生成

• 良性任务：须在给定场景的工具和信息下可完成，像真实助手请求，有明确操作、可识别输入和预期结果。
• 恶意任务：inject要在指定持久面建立指定恶意内容；trigger要诱导对应有害行为。投放源须是攻击者能合理控制的渠道；其所知限于公开信息或该来源可见的信息（附录F.3）。附录F.4给出完整生成提示词。
• 任务驱动资产：先生成两类任务，再确定所需资源，而不是先建完整环境再出题。文件经原生文件和shell工具访问；网页经浏览器访问，用来模拟邮件、聊天和网盘等应用，而不另做专用工具接口。评测时为每个harness准备可复用容器，只挂载该场景所需资产。
• 状态判定：每条条件写明执行后检查哪个文件或应用记录、应含什么状态。inject查恶意内容是否新进入选定工作区文件，或恶意技能是否新注册。trigger查是否产生攻击者指定的风险状态。论文举例：删文件任务检查目标文件是否仍在。不给最终自然语言回复打分。

环境物化

• 文件：按资产描述补全内容，并保留指定载荷旁的合法内容。文档中若含技能或脚本，对应文件从这些内容生成。技能和脚本须实现其所称功能；去掉恶意指令后，合法任务仍须可完成。
• 网页与后端：生成与应用语境相符的HTML，并配后端以支持发信、提交和改状态。后端同时作为mock sink，记录消息、收件箱和数据库，供状态判定。附录F.5给出物化提示词。
• 装载：保留已生成资产以便复用。网页主机名写入容器hosts，使智能体用普通URL访问本地服务，而不重建harness运行时。

验证探针

• 四项检查：oracle完整性要求至少一条可自动执行的攻击成功条件，且匹配文本和持久文件引用完整。攻击可达性要求载荷落在完成良性任务的路径上，主要约束来自外部环境的inject；trigger的载荷预置在执行时会自动加载的工作区文件中。初始状态检查要求运行前攻击条件尚未成立。任务可行性用能力较强的模型试跑，默认探针为DeepSeek-V4-Pro；探针达成攻击成功后，该用例才保留。

Harness适配器

• 工作区映射：用例中的持久文件路径用统一占位符表示，评测时映射到各harness的真实位置。例如MEMORY.md在OpenClaw位于工作区根目录，在Nanobot位于memory/。
• 能力映射：场景所需操作写成file.read、exec.run、memory.write等原型，再映射到各harness的原生工具。接入新harness需增加一个映射文件。

实验设置

• Harness：功能向OpenClaw、Nanobot；安全向NemoClaw、SeClaw、ZeroClaw；编程智能体CodeX、Claude Code。各用官方默认设置。每个用例在基于Ubuntu 22.04的隔离Docker容器中运行，靠挂载资产切换任务。
• 模型：GPT-5.4、Claude-Sonnet-4.5、Gemini-3.1-Pro、DeepSeek-V4-Pro。编程智能体只测原生支持的提供方。NemoClaw与Gemini无结果，因兼容插件使OpenClaw的SSRF检查阻断内部推理端点（Table 1注）。
• 生成角色：红队阶段的场景生成、物化和探针模型均为DeepSeek-V4-Pro。效率实验的探针harness为OpenClaw。
• 基准：RedClaw-Bench共330例：五个持久面在inject与trigger上各30例，另加30例同会话间接提示注入，不经过持久状态（Section 4.3、附录E.4）。覆盖9类风险、12种策略、100个风险–策略组合和25个场景（Figure 5、Table 2）。对比AgentDojo、AgentDyn、DTap。
• 指标与判定：U是完成良性任务的百分比，ASR是满足攻击者成功条件的百分比，二者独立计算。判定为状态检查。论文未写LLM评审、人工一致性或重复次数。
• 分面表的范围：附录Table 3、Table 4中，CodeX只列出AGENTS.md与SKILL，Claude Code只列出CLAUDE.md与SKILL。论文未说明Table 1里这两个harness的平均是否只含这些面。

主结果

下表为Table 1的Average列（%）。CodeX、Claude Code的平均只含其已报告模型；NemoClaw不含Gemini。

表格较宽，可左右滑动

Harness	Inject U	Inject ASR	Trigger U	Trigger ASR
OpenClaw	78.5	65.7	72.9	69.2
Nanobot	80.2	64.2	75.7	73.5
NemoClaw	74.0	56.2	53.8	50.9
SeClaw	52.8	13.0	50.2	10.5
ZeroClaw	72.2	26.3	61.0	35.8
CodeX	61.7	65.0	81.7	65.0
Claude Code	56.7	26.7	50.0	21.7

• 作者称Nanobot与OpenClaw在两个阶段都容易被攻破，并称多数系统的ASR超过50%。表中SeClaw、ZeroClaw、Claude Code的平均ASR低于50%。
• 作者称SeClaw与ZeroClaw更安全，同时功能下降。表中ZeroClaw的平均U高于SeClaw。作者称Claude Code比CodeX更安全，但效用低于OpenClaw一类harness。
• 表中未列入的单格高点：Nanobot配DeepSeek V4 Pro的trigger ASR为92.0%（U为82.7%）；OpenClaw配同一模型的trigger ASR为90.7%、inject ASR为81.3%（Table 1）。

生成效率与覆盖

• 效率：DeepSeek-V4-Pro生成、OpenClaw为探针。生成1,500个样本后，inject与trigger可行率分别为20.1%与46.1%。Figure 3(a)横轴为Generated samples，末端标注成功攻击数inject 302、trigger 691。作者称trigger高于inject，智能体对来自内部状态的攻击更脆弱。
• 成本口径：Section 4.2称该设置下每条成功样本平均生成成本不超过$0.10。摘要写的是有效攻击率高于30%、每条成功样本低于$0.10。论文未把“高于30%”按维度拆开。
• 覆盖：作者称前500个成功攻击样本内覆盖全部9类风险和12种策略，trigger与inject的风险×策略组合分别超过95和65。Figure 3(b)纵轴为Covered combinations，标注Max 108（9 risks × 12 strategies），并标有108与85。

与现有基准对比

• 低ASR基准：用GPT-5.4与Claude-Sonnet-4.5对比。作者称这两个模型在AgentDojo和AgentDyn上的ASR不超过1%。Figure 6在对应位置标出0.5、0.7、0.0、0.9，正文未逐项写明哪个数属于哪个基准。该对比未写明harness。
• 相对DTap：RedClaw-Bench的Inject ASR在GPT-5.4上从40.0%到64.7%，在Claude-Sonnet-4.5上从25.2%到62.0%。Figure 6标注+24.7 pp与+36.8 pp。harness同样未写明。
• 效用：作者称RedClaw-Bench的utility低于DTap和AgentDojo，因而任务更难。Figure 6有若干utility读数，正文未逐项对应到基准，这里不分配这些读数。

攻击面、风险与策略

• 攻击面（Section 4.4）：Inject阶段，SKILL在几乎所有harness上ASR最低。四个文本面中，SOUL.md的跨harness平均Inject ASR最高，为42.7%，OpenClaw上71.1%，NemoClaw上66.7%。Trigger阶段，AGENTS.md平均ASR最高，为50.9%，OpenClaw 77.8%，Nanobot 85.6%。作者称SOUL.md相对不那么敏感，AGENTS.md被赋予更高权限。Figure 4的曲线是GPT-5.4、Claude-Sonnet-4.5、Gemini-3.1-Pro的平均，不含DeepSeek V4 Pro。
• 风险（附录E.2）：NemoClaw在Inject的destructive actions上ASR为83.3%，Trigger的privilege override为65.0%。作者称这高于其总体Inject 48.7%与Trigger 44.0%，也高于OpenClaw、Nanobot在这些类别上的结果。论文未说明48.7%与44.0%的汇总是否含DeepSeek V4 Pro；Table 1含该模型的NemoClaw平均为56.2%与50.9%。
• 策略（附录E.2）：作者称UI Ambiguity在OpenClaw、Nanobot、NemoClaw的Inject阶段更有效，Trigger阶段变弱。Poisoned Memory Propagation相反：OpenClaw、Nanobot从Inject的19.0%、23.8%到Trigger的66.7%、69.0%。作者称建立持久妥协和利用它偏向不同策略。

其他消融与分析

• 标准IPI共30例（Table 5）：CodeX+GPT-5.4的U为70.0%、ASR为23.3%；Claude Code+Claude-Sonnet-4.5的U为36.7%、ASR为16.7%。
• Table 3：SeClaw的SKILL inject ASR在GPT-5.4、Claude-Sonnet-4.5、Gemini-3.1-pro上为0.0%，DeepSeek V4 Pro上为3.3%（各30例）。
• Table 3：ZeroClaw配GPT-5.4时，AGENTS.md与USER.md的inject ASR为0.0%；其SKILL inject ASR为46.7%，高于该行的文本面。
• Table 4：OpenClaw配DeepSeek V4 Pro时，AGENTS.md的trigger ASR为96.7%，SKILL为100.0%（各30例）。
• Table 4：SeClaw配GPT-5.4时SOUL.md的trigger ASR为0.0%；配Claude-Sonnet-4.5时USER.md的trigger ASR为0.0%。
• 附录E.5给出一例技能注入任务和八个生成的应用界面；此处不复述载荷。论文没有单独的消融表。

作者指出的局限与后续方向

• 模型与攻击面：评测集中在选定模型与harness、五个持久攻击面，更多记忆架构和部署配置留待以后研究（Appendix A）。
• 多模态与多智能体：扩展到多模态载荷和多智能体共享记忆，需要相应适配器和评测标准（Appendix A）。
• 模拟环境：当前环境使用隔离容器和模拟应用；接入在线服务和变化中的访问策略会增加运行上的复杂性（Appendix A）。
• 会话长度：实验考察的是有界任务执行；中毒状态在长时间、多会话交互中如何演变，作者列为后续方向（Appendix A）。
• 生成器：场景生成和探针都使用DeepSeek-V4-Pro。作者称少有可用模型同时安全对齐较弱且能力高，换用其他生成器的影响可作为后续方向（Appendix A）。

实验覆盖范围

• 被测系统：harness为OpenClaw、Nanobot、NemoClaw、SeClaw、ZeroClaw、CodeX、Claude Code；驱动模型为GPT-5.4、Claude-Sonnet-4.5、Gemini-3.1-Pro、DeepSeek-V4-Pro（Section 4.1、Table 1）。
• 冻结基准：RedClaw-Bench含330例，五个持久面在inject、trigger上各30例，另有30例同会话IPI；风险9类、策略12种、场景25个（Section 4.3、Figure 5、Table 2）。
• 生成实验：效率实验以DeepSeek-V4-Pro为生成器与探针模型、OpenClaw为探针harness，报告生成1,500个样本后的可行率，以及不超过$0.10的成功样本成本（Section 4.2）。论文未报告重复次数和查询次数。
• 对比与判定：与AgentDojo、AgentDyn、DTap的对比使用GPT-5.4和Claude-Sonnet-4.5（Section 4.3）。该段未写明harness。成功与否由状态检查判定，论文未报告与人工判定的一致性。
• 缺行与平均范围：NemoClaw–Gemini因SSRF检查无结果；两个编程智能体只评测原生支持的模型（Table 1）。Figure 4平均的是GPT-5.4、Claude-Sonnet-4.5、Gemini-3.1-Pro，不含DeepSeek V4 Pro。

AutoRedClaw是面向持久化claw式智能体的自动红队框架，用来同时生成攻击、可执行环境和状态判定。

• 问题：AGENTS.md、MEMORY.md、USER.md、SOUL.md和技能会跨会话重载。作者认为，只测已经中毒之后的下游行为，或只用function-calling/MCP环境，对不上这类助手的实际用法。
• 做法：生成空间由9类风险、12种策略、inject/trigger和五个持久面组成。经验池推动新样本避开已有模式。环境按任务挂载文件和网页，探针检查判定条件、可达性、初始状态和可行性。默认探针是DeepSeek-V4-Pro。适配器把统一路径和能力映射到不同harness。
• 生成结果：OpenClaw探针上，1,500个生成样本的inject、trigger可行率为20.1%与46.1%；Section 4.2称成功样本平均成本不超过$0.10。摘要另写有效攻击率高于30%、成本低于$0.10。
• 基准结果：330例的RedClaw-Bench上，OpenClaw平均ASR为inject 65.7%、trigger 69.2%，Nanobot为64.2%与73.5%，NemoClaw为56.2%与50.9%（Table 1）。SeClaw为13.0%与10.5%，ZeroClaw为26.3%与35.8%，Claude Code为26.7%与21.7%。
• 相对旧基准：作者称GPT-5.4与Claude-Sonnet-4.5在AgentDojo、AgentDyn上的ASR不超过1%。相对DTap，这两个模型的Inject ASR从40.0%、25.2%到64.7%、62.0%；该段未写明harness。
• 作者的结论：这套管线可以较低成本持续产出可执行评测，并对先进harness给出可区分的安全与效用读数。作者称不同攻击面风险不同：SOUL.md相对容易被写入，AGENTS.md在触发阶段被赋予更高权限，可供设计者加强对应保护。