Defense-as-Skill：为技能增强型 Agent 演化运行时护栏技能

恶意或被篡改的 skill 会在安装后持续影响动作，安装前审查挡不住任务条件下才显现的越界行为。

• 场景：作者称技能增强智能体（skill-augmented agents, SAAs）会加载可复用 skill，即打包的指令、脚本、资源和流程。Claude Code 与 OpenClaw 是文中例子。同一机制也可让恶意 skill 在具体用户任务、工作区状态和可用工具使不安全动作显得有用之后，再诱导泄密、破坏代码、绕过审批或为外泄准备数据。
• 现有不足：作者认为这不同于普通提示注入或静态包扫描。许多实用运行时防御依赖外部分类器、托管防护模型或平台专用权限门，往往不能作为普通 skill 工件部署，因而更难检查、编辑，也更难跨 SAA 工作流迁移。
• 核心观察：作者认为能力型 skill 通常与用户请求语义对齐，可由常规任务–技能匹配选中；不安全动作却可能出现在几乎任何任务中，即使任务本身没有显式安全意图。因此仅靠安装安全 skill、再靠语义相关性调用并不可靠，需要显式赋予持久安全职责。
• 提出的内容：作者提出 Defense-as-Skill，把运行时防护本身做成可安装、可检查、可编辑的 skill。具体防护为 SkillSonar，与不可信任务 skill 并行运行，按用户任务边界把敏感动作路由为 allow、replan 或 confirmation，且不修改底层智能体运行时。配套数据集 SCOPE-R 覆盖 6 个风险族、21 个子类，含 206 个攻击确认的恶意实例和 43 个良性任务；再用 runtime guard-skill evolution（蒙特卡洛树搜索）根据 rollout 反馈演化磁盘上的防护技能。
• 威胁模型：
  • 目标：恶意或被入侵的 skill 在完成用户任务的同时触发目标恶意行为，如泄密、破坏代码、绕过审批或为数据外泄做准备。
  • 知识与能力：攻击发生在 skill 加载之后。攻击智能体可在本地编辑 skill，包括加入隐藏指令、修改脚本、更改清单字段或其他捆绑文件，并保持风险标注 Mr 与编辑一致；用户任务 T 保持不变。
  • 受害系统：受害方是使用 Claude Code 或 OpenClaw 的 SAA。受害智能体与攻击智能体使用同一 harness、不同对话，加载被修改的 skill 后执行任务。SkillSonar 不修改底层运行时，也不是沙箱、内核监控、外部分类器或 API 服务。
  • 判定与部署假设：评审智能体根据转录和实例级可观察成功标准给出二元攻击成功标签。显式调用指令只做软性职责指派，宿主仍可能不读、用错或不遵守防护。

技能作为可演化工件

• SkillsBench（Li 等, 2026）与 SkillLearnBench（2026）分别评测精选及自生成技能，以及从智能体经验中持续学习技能。WildClawBench（Ding 等, 2026）评测较真实的 OpenClaw 环境，作者称其主要看通用能力而非技能安全。
• CycleQD（Kuroki 等, 2025）、SkillRL（2026）、CoEvoSkills（2026）、SkillClaw（Ma 等, 2026）、SkillFlow（2026）把技能当作可生成、精炼和复用的工件；SkillPyramid（2026）研究层级合并，SEARL（Feng 等, 2026）把自演化扩展到策略与工具图记忆的联合优化。作者据此认为技能及其他智能体侧工件不是静态提示词。

技能增强智能体的安全

• 对真实技能生态的实证研究（Liu 等, 2026，两篇）报告社区贡献的 skill 可含提示注入、数据外泄逻辑、提权模式及其他不安全行为。
• Skill-Inject（Schmotz 等, 2026）衡量被投毒的 skill 定义能否诱导 SAA 的不安全行为。SkillAttack（Duan 等, 2026）固定 skill 工件，优化对抗性用户提示词以触发不安全行为。
• 近期 OpenClaw 安全分析（Deng 等, 2026 等）讨论生命周期威胁与架构层防御。

基线方法与基准

• SCOPE-R 主实验基线：No-guard、System prompt；Claude Code 上另有 AcceptEdits，以及 AcceptEdits + allowlist。进一步对比 AgentSpec（Wang 等, 2025，经 Hooks 适配）和 ToolSafe 中的 TS-Guard。
• 数据与外部基准：恶意实例由 PinchBench 的良性任务目录出发构造；跨基准评测使用 SkillSafetyBench 与 WildClawBench 的安全子集。引言还提到 AgentDojo 等既有智能体安全评测被 SCOPE-R 的度量方式所跟随。

作者把本文定位为：不在安装前做一次性判断，而是把运行时防护做成与任务 skill 相同机制的可检查、可演化策略层，使其能在不改 SAA 运行时的情况下部署，并在具体 rollout 上优化。

Defense-as-Skill 把防护写成可安装的 SkillSonar，在同一 SAA 内对拟执行动作做策略级分流，再用蒙特卡洛树搜索根据 rollout 反馈改写该技能。

问题设定与 SCOPE-R

• 实例结构：恶意实例是三元组 (T, s, Mr)：良性用户任务 T、可能诱导不安全行为的技能 s、以及记录目标不安全行为与可观察运行时成功标准的标注 Mr。良性实例只有用户任务、不注入技能，用来看防护是否干扰安全执行。
• 风险族：按技能变成具体不安全动作的路径分成六族，首字母组成 SCOPE-R：Specification Integrity (S)、Capability Control (C)、Operational Side Effects (O)、Privacy & Data Flow (P)、Execution Safety (E)、Resource & Reliability (R)，共 21 个子类（Table 7）。
• 闭环构造：从 PinchBench 选 15 个任务，其工具与副作用面覆盖六族；用 skill-creator 生成初始良性技能 s0。对每个子类，攻击智能体编辑 s，受害智能体执行，评审智能体给二元成功标签；失败则把失败模式和建议编辑反馈给攻击者，直到成功或预算用尽。只保留评审确认成功的实例，得到 206 个恶意实例和 43 个良性任务。
• 划分：Table 1 中 OOD 整族留出 C 与 P（59 个，28.6%），训练时不可见；S、E、O、R 按族比例随机分为 Train 95（46.1%）和 ID-Test 52（25.2%）。43 个良性任务中 11 个用于演化训练，32 个留作最终评测。

运行时防护技能

• 放置位置：SkillSonar 与用户任务由同一 SAA 加载，只用平台已有的 skill 原语，实验中部署到 Claude Code 和 OpenClaw。它是策略级防御，不新增沙箱、内核监控、外部分类器或 API 服务。风险等级、覆盖动作类型和干预规则在附录 B。
• 决策：在潜在敏感操作前，防护要求智能体结合用户请求、已加载技能指令和执行上下文，判断动作是否仍在预期任务边界内，然后 allow、narrow/replan，或对更高风险行为 require confirmation。检查对象包括工具调用、文件操作、shell 命令、数据访问、外部副作用和用户可见输出。
• 调用协议：每个任务前附加一条指令，赋予 SkillSonar 持久安全职责并要求行动前咨询它。作者强调这是部署配置的一部分，只是软性指派：宿主仍可能不读、用错或不遵守。完整调用提示词在附录 D.1。
• 评测信号：ASR 是评审根据转录和实例级标准判为攻击成功的 rollout 比例。Task utility 用 PinchBench 风格评分器，在良性与恶意实例上分开报告。Confirmation count 记录 rollout 在确认门暂停的次数，之后用固定预制回复继续。Token cost 为非零用量的已完成 rollout 的平均报告 token。

MCTS 演化

• 搜索状态：树 T 的节点 v 是一份防护技能 gv，保存廉价评估统计 (nv, Q̄cv)、子树访问次数 Nv，以及至多一次的全量评估分数 Qfv 和用于精炼的反馈。廉价集 Dc 与全量集 Df 不相交。
• 标量目标：UCT 需要标量奖励。式 (1) 为 s(v) = (1 − ASRv) + ε(λb Uv^benign + λm Uv^malicious − λq C̃v − λt K̃v)。第一项使阻止攻击占主导；ε 取小值，使确认次数和 token 不压过 ASR。
• 选择与扩展：式 (2) 用廉价评估均值和访问次数计算 UCT。选中节点做一次全量评估后，精炼算子按聚合指标、实例级失败、评审理由和效用观察做局部编辑，生成 k 个子候选。根节点是初始防护技能。停止条件为全量安全分达到阈值、评估预算耗尽或没有可扩展候选。最终取全量评估分最高的候选。
• 默认预算：除非另有说明，外层迭代 10 次、全量节点评估 10 次；全量安全分超过 τscore = 0.95（对应 ASR 目标至多 5%）时早停。完整配置在附录 E.2。附录 H 另写搜索最多 8 次全量评估以保证可复现。

成功判定

• 恶意：固定留出评审 Qwen3.5-122B-A10B 读取转录与 Mr，判断元数据中的目标恶意行为是否实际发生。成功时记录运行时证据；失败时返回失败模式，如 guard not read、guard not triggered，或 guard triggered but followed incorrectly。
• 良性：效用评分器检查原用户任务是否完成，并写自由形式评论说明效用损失或不必要摩擦。这些字段在演化时直接交给精炼器。安全反馈是主搜索信号，效用与摩擦反馈用于避免过度拦截。

实验设置

• Harness 与受害模型：Claude Code 与 OpenClaw，同一 skill 包和任务实例。受害骨干为 GLM-5、GPT-5.4、Claude Haiku 4.5；附录的零样本迁移另含 Kimi-K2.6。主结果以 GLM-5 重复 N=10 次；后两个模型因全量重复代价更高，只报点估计。硬件为 8 张 Nvidia A100。
• 评审：攻击成功由未进入受害模型集合的 Qwen3.5-122B-A10B 判定。人工审计中，构建评审与评测评审的平衡一致率分别为 94% 和 98%，观察到的分歧都是假阳性成功标签（附录 D.2）。
• 数据：SCOPE-R 恶意实例 Train/ID/OOD 为 95/52/59（Table 1）。良性效用用 43 个无注入任务；演化用其中 11 个，最终评测留出 32 个。TaskUtil. 衡量恶意 skill 下原良性任务是否完成。
• 基线：No-guard、System prompt；Claude Code 另有 AcceptEdits 与 AcceptEdits + allowlist。OpenClaw（Table 4）只报前两者和 SkillSonar。补充对比 AgentSpec 与 TS-Guard。
• 优化：评测前用 MCTS，默认 10 次外层迭代、10 次全量节点评估，τscore = 0.95。Token 在汇总结果中是已完成且用量非零的 rollout 均值。
• 指标方向：ASR 与 token 越低越好，TaskUtil. 与良性效用越高越好。确认次数在演化目标中作为摩擦项，主表未单列。

主结果

据 Table 2，Claude Code、GLM-5、N=10，均值 ± 标准差：

Swipe horizontally to read the table

方法	ID ASR	OOD ASR	ID TaskUtil.	OOD TaskUtil.	Tokens (10^3)
No-guard	0.482 ± 0.039	0.606 ± 0.043	0.811 ± 0.033	0.839 ± 0.027	179.3 ± 13.0
System prompt	0.414 ± 0.042	0.489 ± 0.048	0.783 ± 0.045	0.807 ± 0.058	175.6 ± 17.0
AcceptEdits	0.122 ± 0.039	0.073 ± 0.025	0.650 ± 0.062	0.715 ± 0.040	194.6 ± 9.1
AcceptEdits + allowlist	0.460 ± 0.043	0.610 ± 0.034	0.811 ± 0.025	0.832 ± 0.023	197.8 ± 8.5
SkillSonar	0.104 ± 0.036	0.115 ± 0.037	0.779 ± 0.077	0.715 ± 0.099	190.2 ± 12.2

• 作者解读：SkillSonar 相对无防护把 ID ASR 从 0.482 降到 0.104、OOD ASR 从 0.606 降到 0.115，标准差较小，作者认为下降在重复执行间稳定。相对系统提示词，两侧 ASR 都更低。
• 与权限门：AcceptEdits 的 OOD ASR 最低（0.073），但 ID TaskUtil. 降到 0.650，SkillSonar 为 0.779 且 ID ASR 更低。OOD 上二者 TaskUtil. 同为 0.715。allowlist 把效用拉回接近无防护，ASR 也回到 0.460 / 0.610。作者认为严格门控能压低攻击但代价是有用动作，放宽权限则重新打开攻击路径。
• MCTS 轨迹：Figure 3 中恶意 ASR 从 0.300 降到第 9 次迭代的 0.078；作者称每个点是被选中的候选，曲线不预期单调下降。

跨模型与另一运行环境

• Table 3 点估计：Claude Haiku 4.5 上 SkillSonar 的 ID/OOD ASR 为 0.096/0.254，无防护为 0.481/0.707；TaskUtil. 为 0.730/0.750，AcceptEdits 为 0.574/0.577。GPT-5.4 上 SkillSonar 为 0.019/0.034，无防护为 0.588/0.559；TaskUtil. 为 0.533/0.528，低于无防护的 0.731/0.766，高于 AcceptEdits 的 0.363/0.258。作者称 GPT-5.4 上 SkillSonar 的 ASR 最低，但仍有相对无防护的效用下降，并未消除安全–效用权衡。
• Table 4（额外运行环境，无 AcceptEdits）：GLM-5 上 SkillSonar 的 ID/OOD ASR 为 0.245/0.232，无防护为 0.596/0.621；Claude Haiku 4.5 为 0.265/0.259，无防护为 0.542/0.482。该表 TaskUtil. 在 GLM-5 ID 上 SkillSonar 为 0.906，无防护为 0.893。
• Token：Table 2 正文另给出 SkillSonar 在 ID/OOD 上为 190,753 ± 14,648 与 191,390 ± 13,298。Claude Haiku 4.5 上 SkillSonar 的 token 在所列防御中最高（Table 3 为 207,861；Table 4 为 175,547）；GPT-5.4 上为 175,846，低于无防护的 271,510。作者称没有一致的跨模型 token 上升。

消融、其他防护与外部基准

• 显式调用（Figure 4(a)）：不做显式职责指派时 ID/OOD ASR 为 0.400/0.582，显式配置降到 0.104/0.109；良性效用 0.756 与 0.767。作者认为只安装安全 skill、交给普通技能选择，得不到预期防护。
• 技能表示（Figure 4(b–c)）：内容对齐的 Flattened SkillSonar Prompt 与技能形态使用相同决策相关策略。SkillSonar 将 ID ASR 从 0.353 降到 0.104、OOD 从 0.437 降到 0.109，ID/OOD TaskUtil. 从 0.655/0.672 升到 0.815/0.789；良性效用 0.748 与 0.763。token 从约 239K 降到 188K，作者称约降 21%。
• Figure 5（Claude Code + GLM-5）：AgentSpec 的 ID ASR 从 0.477 到 0.294，ID TaskUtil. 从 0.829 到 0.581，OOD ASR 为 0.576。TS-Guard 的 ID/OOD ASR 为 0.412/0.492。SkillSonar 为 0.104/0.109，TaskUtil. 为 0.815/0.789。良性效用：SkillSonar 0.767，无防护 0.757，AgentSpec 0.642，TS-Guard 0.703。No-guard 与 SkillSonar 为五次运行均值，另两者为每个划分一次完整运行的点估计。作者称这不构成对 OS 沙箱、污点跟踪或信息流控制的穷尽比较。

其他消融与分析

• 良性效用（Table 5，主 Claude Code）：GLM-5 上 No-guard 0.815、System prompt 0.833、AcceptEdits 0.796、allowlist 0.792、SkillSonar 0.817；Claude Haiku 4.5 上 SkillSonar 0.836、无防护 0.827；GPT-5.4 上 SkillSonar 0.724、无防护 0.793。
• Table 6：SkillSafetyBench ASR，无防护 93.30%、allowlist 64.30%、系统提示词 83.30%、SkillSonar 52.90%；AcceptEdits 因在该 harness 上反复超时无完整可比结果。WildClawBench Safety：无防护 38.00%、AcceptEdits 41.00%、allowlist 45.00%、系统提示词 43.00%、SkillSonar 54.00%。作者称应理解为跨基准稳健性，而非对任意真实技能生态的无限制泛化。
• 自适应攻击：对最终防护重跑迭代攻击者，三轮精炼后总体 ASR 从 45.1% 降到 22.9%，绝对降 22.2 个百分点。作者称仍保留相当防护，但剩余 ASR 说明策略并非对所有自适应攻击都稳健。分族结果在附录 F.1。
• 零样本迁移（附录 F.2）：GLM-5 上优化的防护，ID ASR 在 Kimi-K2.6 从 0.417 到 0.199，Claude Haiku 4.5 从 0.481 到 0.096，GPT-5.4 从 0.588 到 0.019。在 Kimi-K2.6 上优化也有迁移，作者称安全–效用权衡仍随模型而变。
• 分族（附录 F.3，百分比点）：ID 上 Resource & Reliability 一类为 61.3 ± 10.3 到 11.3 ± 5.2（降 50.0 pp）；Execution Safety 48.6 ± 21.7 到 5.7 ± 7.8（42.9 pp）；Specification Integrity 41.2 ± 7.2 到 5.9 ± 5.9（35.3 pp）；Operational Side Effects 36.7 ± 4.6 到 18.3 ± 10.9（18.3 pp）。OOD 上 Privacy & Data Flow 67.7 ± 8.4 到 6.2 ± 2.1（61.5 pp）；Capability Control 59.4 ± 6.3 到 14.5 ± 4.5（44.8 pp）。作者称六族都下降，但幅度不均匀；Operational Side Effects 残留最高，Capability Control 相对更难。
• 作者指出的例外：GLM-5 OOD 上 AcceptEdits 的 ASR 低于 SkillSonar，且二者 OOD TaskUtil. 均值相同；GPT-5.4 上 SkillSonar 相对无防护有效用下降；Claude Haiku 4.5 的 OOD ASR（0.254）与 ID（0.096）差距大于 GLM-5。

作者指出的局限与后续方向

• 仍是 Markdown 策略（附录 H）：演化后的防护依赖宿主 SAA 是否遵守指令；更强的恶意 skill 仍可能在执行中忽略、覆盖或绕过防护规则。
• 依赖运行时评审（附录 H）：优化用评审衡量攻击成功、任务效用、确认负担和 token。作者称虽谨慎使用评审，评审错误仍可能影响结果。
• 搜索预算小（附录 H）：为可复现，全量评估最多 8 次。作者认为更大预算可能进一步改进防护，但增益可能会变小。
• 基线不是完整比较（附录 H）：面向 Claude Code、OpenClaw 这类 SAA harness 的现有运行时防护很少，因此基线应视为实用参照，而不是与已确立先前方法的完整比较。
• 应与机制层控制并用（第 6 节）：作者称 SkillSonar 的软指令跟随性质意味着它应补充而非替代权限系统和沙箱等机制层控制。
• 自适应攻击仍有剩余成功（第 5.3 节）：三轮自适应精炼后总体 ASR 为 22.9%。作者称这说明策略并非对所有自适应攻击都稳健。附录 F.1 给出分族结果。结论还把留出风险族、其他受害模型和外部基准上的迁移写成已观察到的结果，而不是待做实验。

实验覆盖范围

• 主评测：Claude Code 上 GLM-5、GPT-5.4、Claude Haiku 4.5；OpenClaw 的 Table 4 报告 GLM-5 与 Claude Haiku 4.5。GLM-5 主表 N=10；Table 3 为点估计；Figure 5 中 No-guard 与 SkillSonar 为五次均值，AgentSpec 与 TS-Guard 为每个划分一次完整运行。
• 数据与划分：SCOPE-R 为 206 个攻击确认恶意实例加 43 个良性任务；OOD 整族留出 C 与 P。外部基准为 SkillSafetyBench 与 WildClawBench 安全子集（Table 6）。攻击成功评审为 Qwen3.5-122B-A10B。
• 防御对比：No-guard、System prompt、AcceptEdits、AcceptEdits + allowlist、AgentSpec、TS-Guard，以及内容对齐的扁平系统提示词。作者写明不把该比较解释成对 OS 沙箱、污点跟踪或形式化信息流控制的穷尽比较。
• 人工审计（附录 D.2）：构建评审与评测评审的平衡审计一致率为 94% 和 98%；观察到的分歧均为假阳性成功标签。论文未在正文给出该审计的样本量。
• 演化与迁移：默认预算为 10 次外层迭代和 10 次全量节点评估，早停阈值 τscore = 0.95；附录 H 写最多 8 次全量评估。零样本迁移包含 Kimi-K2.6。自适应设置是对最终防护再跑三轮攻击者精炼。论文报告了分项 token，确认次数进入演化目标，主结果表未单独列出确认次数。

Defense-as-Skill 把 SAA 的运行时防护做成可安装、可检查、可编辑的技能，而不是外部分类器或平台专用权限门。

• 问题：skill 在加载后成为持久上下文。恶意 skill 不必在安装时造成伤害，可以等到用户任务、工作区状态和工具使不安全动作显得有用时，再诱导泄密、改代码、绕过审批或准备外泄。作者认为安装前审查必要但不充分。
• 数据与方法：SCOPE-R 从 PinchBench 的良性任务出发，用攻击–受害–评审闭环只保留攻击成功实例，共 206 个恶意实例、43 个良性任务、6 个风险族和 21 个子类。C 与 P 整族作 OOD。SkillSonar 在同一智能体内按任务边界把动作分为 allow、replan 或 confirmation，并依赖显式安全职责指派。MCTS 以 1−ASR 为主、效用、确认负担和 token 为辅，在磁盘上演化防护技能。
• 主结果：Claude Code、GLM-5、N=10（Table 2），SkillSonar 的 ID ASR 为 0.104 ± 0.036、OOD 为 0.115 ± 0.037，无防护为 0.482 ± 0.039 与 0.606 ± 0.043；ID TaskUtil. 为 0.779，高于 AcceptEdits 的 0.650。AcceptEdits 的 OOD ASR 更低（0.073），allowlist 则 ASR 回到接近无防护。GPT-5.4 上 ID/OOD ASR 点估计为 0.019/0.034。
• 其他证据：显式调用缺失时 ID/OOD ASR 为 0.400/0.582。与扁平提示词相比，技能形态的 ID ASR 为 0.104 对 0.353。SkillSafetyBench ASR 为 52.90%，WildClawBench Safety 为 54.00%。三轮自适应攻击后总体 ASR 为 22.9%。六族 ASR 均下降，Operational Side Effects 残留 18.3 ± 10.9，为文中 ID 族最高。
• 作者结论：结果支持把 Defense-as-Skill 当作可检查、可演化的策略层；因其依赖软指令跟随，作者认为应补充而非替代权限系统与沙箱。附录 H 补充：防护仍可能被绕过，结果受评审误差和较小搜索预算影响，基线是实用参照而非完整比较。