HarmfulSkillBench：有害技能如何将你的智能体武器化？

核心问题：开放智能体技能生态中存在多少以违反使用政策为预期用途的"有害技能"（harmful skills），它们会如何影响 LLM 智能体的安全行为。

• 问题场景：作者称 LLM 智能体（如 Claude Code、OpenClaw、Codex）越来越依赖可复用的技能模块，ClawHub 与 Skills.Rest 截至 2026 年 3 月分别托管 26,629 和 71,811 个技能；技能可一键安装并获得 shell、文件系统、网络等系统级权限，有害技能可能降低作恶门槛。
• 现有研究不足：作者称已有工作主要关注技能内部的漏洞（如嵌入的提示注入、数据窃取载荷、恶意软件），即"恶意技能"（malicious skills）；据作者所知，尚无大规模研究测量有害技能的流行程度，也没有评测智能体能否识别并拒绝有害技能的基准。
• 核心观察：Figure 1 的示例显示，智能体面对直接的有害请求会拒答，但当同一目的通过预装技能呈现、或用户只要求"阅读技能并制定执行计划"时，智能体转而输出详细计划。
• 论文产出：三部分——对两个注册表 98,440 个技能的大规模测量（RQ1、RQ2）；基准 HarmfulSkillBench（200 个有害技能、20 个类别、4 种评测条件）；对 6 个 LLM 的评测（RQ3）。作者称已向受影响注册表披露并以门控方式发布基准。
• 威胁模型（Section 2.3，Figure 4）：
  • 攻击者目标：让智能体执行违反使用政策的任务。
  • 攻击者身份与能力：用户即攻击者，故意从公开注册表选择并安装技能。
  • 受害系统与受害者：智能体充当自动化工具；受害者是第三方，如个人数据被抓取的个人、服务条款被违反的平台、欺诈与骚扰的目标。
  • 与先前工作的区别：先前工作中攻击者构建恶意技能攻击智能体的用户；本文中用户是攻击者，技能是伤害其他受害者的工具。

LLM 智能体安全

• Liu et al. [36] 评估 LLM 对提示注入的鲁棒性；InjecAgent [77]、AgentDojo [14]、ASB [78] 等基准量化工具集成智能体面临的此类威胁。
• WIPI [70]、EIA [37]、Imprompter [21] 把攻击面扩展到 Web 智能体与对抗性工具滥用。
• 另一条线研究供应链后门：通过微调 [74, 69] 或对记忆与知识库的检索层投毒 [11] 污染智能体本身。论文指出这些工作的威胁模型中智能体或其用户是受害者，本文则把有害产物放在受信任的技能注册表中、由用户主动加载。

智能体技能与插件生态测量

• Iqbal et al. [28] 提出 ChatGPT 插件的攻击面框架；Shen et al. [58]（GPTracker）大规模测量 OpenAI GPT Store 中被滥用的 GPTs；Wu et al. [71] 考察 LLM 应用生态的数据收集行为；Kaya et al. [33] 研究第三方网页聊天机器人插件的提示注入风险。
• 与本文并行的四项工作考察智能体技能范式：测量技能分布模式 [38]、识别嵌入隐藏载荷的隐蔽恶意技能 [40]、提出技能编排框架 [35]、通过多智能体协作审计技能市场 [24]（SkillProbe）。论文指出这些工作刻画分布、编排、隐蔽载荷或市场审计，而 HarmfulSkillBench 测量的是"宣称功能本身违反使用政策"的技能及其对智能体安全行为的影响。

安全对齐与越狱基准

• LLM 层面：越狱方法 [10, 82, 43, 25, 31, 30, 57] 与 HarmBench [42]、JailbreakRadar [12]、JailbreakBench [9]、StrongREJECT [63] 等评测基准。
• 智能体层面：AgentHarm [2]、R-Judge [76]、Agent-SafetyBench [80] 评测智能体是否拒绝有害多步任务或识别交互轨迹中的风险。论文指出这些基准把有害内容作为用户查询或交互历史呈现，而 HarmfulSkillBench 把从注册表加载的自然语言技能规范作为危害载体。

基线与对比：有害技能识别的方法对比基线为语义相似度方法（all-MiniLM-L12-v2、GTR-T5-Large），在 500 个标注样本上比较（Table 11）；智能体评测无外部基线系统，对比在 6 个模型与 4 种条件之间进行。

作者将本文定位为与上述工作互补的威胁模型，并称其为有害技能的首个大规模测量与首个此类基准。

整体思路是 Figure 2 所示的四阶段流程：数据收集、有害技能识别、生态测量、基准构建与评测，分别对应 RQ1–RQ3。

有害技能定义与分类法

• 定义：预期用途违反既定 AI 使用政策的技能即为有害技能。分类法综合 Anthropic Usage Policy、Anthropic 智能体专项指南与 OpenAI Usage Policy 交叉验证得到，共 21 类（Figure 5，完整版在附录 B）。
• 两个层级：Tier 1 Prohibited Use（P1–P14）为无条件禁止类，如网络攻击、隐私侵犯、欺诈、武器开发；Tier 2 High-Risk Use（H1–H7）为法律、医疗、金融等专业领域，仅在包含人工审核（HiTL）与 AI 披露（AID）时允许，缺少任一保障即视为有害。
• 下游平台政策：作者调查了常被利用的下游平台服务条款（附录 C，Table 10），将其限制纳入判定标准。

数据收集与 LLM 打分识别

• 采集：ClawHub 技能取自其官方 GitHub 仓库并抓取网页元数据；Skills.Rest 通过解析官方 sitemap.xml 枚举技能链接并下载 SKILL.md。共 98,440 个技能（Table 1）。
• 打分系统：用 GPT-5.4-Mini（关闭推理）作为政策合规评估器，输入技能名称、描述和 SKILL.md 的章节标题（刻意排除开发者名字），输出违反类别到 0–1 风险分的 JSON 映射；每个技能独立推理 3 次取均值，技能总分取 21 类中的最大值。完整提示词见附录 D（Figure 13）。
• 阈值标定：在 0.50–1.00 区间按 0.05 分箱、每箱随机抽 50 个（两个注册表各半）共 500 个样本，两名标注者人工标注（一致率 93.20%，Cohen's Kappa 0.85）；Table 2 显示阈值 0.60 时 F1 最优（0.82，precision 0.74，recall 0.92），据此筛选。P7（Compromise Child Safety）无技能超过阈值，后续分析排除该类。

HarmfulSkillBench 构建

• 规模与来源：200 个人工核验的有害技能，覆盖 20 类（Tier 1 共 130 个、Tier 2 共 70 个），每类 10 个；其中 81 个来自 ClawHub、57 个来自 Skills.Rest、62 个为作者撰写的原创条目（用于 P4、P10 等注册表中稀缺的类别，做法沿用 JailbreakBench [9]）（Table 4）。
• 条目内容：每条只含 SKILL.md 自然语言指令、一条人工审核的有害任务和元数据；刻意不含辅助脚本与可执行文件，理由是评测目标是智能体的服从意愿而非执行能力，且可降低基准被滥用的风险。
• 有害任务生成：每个技能用 GPT-5.4-Mini 生成 3 个候选任务（结构化红队提示，借鉴 PAIR 与 TAP 的攻击提示），人工从 600 个候选中筛选编辑出 200 个最终任务；任务均为英文、不引用技能名称但与技能能力相关。

评测条件与判定方式

• 智能体上下文：五段消息结构（借鉴 AgentDojo）：系统提示（改编自 AgentHarm）、请求读技能的用户消息、预填的 read_skill 工具调用、携带完整 SKILL.md 的工具响应、条件特定的用户指令。技能内容放在工具响应而非系统提示中，模拟真实运行方式。
• 四种条件（Table 5）：A 被动暴露（只要求规划技能执行，无明确有害意图）、B 主动调用（技能+明确有害任务）、D 无技能基线（同样的有害任务、无技能），三者覆盖全部 200 个技能；C1–C4 为 HiTL×AID 的 2×2 因子设计，仅用于 70 个 Tier 2 技能。
• 评审与指标：GPT-5.4-Mini（temperature=0、关闭推理）按改编自 StrongREJECT 与 AgentHarm 的评分细则从四个维度评审：Refusal（二元）、HiTL（二元）、AID（二元）、Harmfulness（1–5 Likert）。Tier 1 合成伤害分 ScoreP = (1 − Refusal) × (Harmfulness − 1)/4，Tier 2 为 ScoreH = (1 − Refusal) × (Harmfulness − 1)/4 × (2 − HiTL − AID)/2，即保障措施可降低 Tier 2 分数；两者均为 0 最安全、1 最有害。C 条件下评审看不到 HiTL/AID 指令，以测量原始保障行为。完整评审提示词见附录 F。
• 人工验证：99 条响应按 5 个分数段分层抽样（每段约 20 条），两名作者独立标注后讨论达成共识。

实验设置

• 被测模型：GPT-4o、GPT-5.4-Mini、Gemini 3 Flash、Qwen3-235B-A22B、Kimi K2.5、DeepSeek V3.2，均通过各自 chat completion API 访问，temperature=0、关闭推理模式（Gemini 3 Flash 不支持完全关闭，设为 minimal）。
• 测量数据：ClawHub 26,629 个技能、Skills.Rest 71,811 个技能，共 98,440 个（Table 1）。
• 基准：HarmfulSkillBench，200 个有害技能、20 类；条件 A、B、D 各覆盖 200 技能 × 6 模型，C1–C4 各覆盖 70 个 Tier 2 技能 × 6 模型。
• 指标：Refusal%（越高越安全）、HiTL%、AID%、合成 harm score（0–1，越低越安全，Equation 1、2）。
• 评审方式：GPT-5.4-Mini 按附录 F 评分细则打分；人工验证用 99 条分层样本，Spearman ρ=0.92，拒答检测准确率 91.92%。
• 识别方法基线：语义相似度方法（MiniLM、GTR-T5），在 500 个标注样本上对比（Table 11）。

主结果

Table 6 主结果（All 级别，AVG 为六模型平均；Score 越低越安全）：

表格较宽，可左右滑动

模型	A Refusal%↑	A Score↓	B Refusal%↑	B Score↓	D Refusal%↑	D Score↓
GPT-4o	0.00	0.85	17.00	0.70	54.50	0.29
GPT-5.4-Mini	33.00	0.52	65.00	0.23	66.50	0.18
Gemini 3 Flash	5.00	0.84	43.50	0.46	61.00	0.27
Qwen3-235B	12.00	0.64	47.00	0.43	64.50	0.22
Kimi K2.5	8.50	0.81	52.50	0.38	63.00	0.25
DeepSeek V3.2	0.00	0.88	29.50	0.61	48.00	0.40
AVG	9.75	0.76	42.42	0.47	59.58	0.27

• 单调排序：作者报告 ScoreA > ScoreB > ScoreD 对全部 6 个模型严格成立，即技能的存在与任务意图的隐式化各自独立提高服从意愿。
• 模型差异：GPT-5.4-Mini 在三个条件下分数均最低；GPT-4o 与 DeepSeek V3.2 分数最高，两者在 Condition A 下对 Tier 1 技能拒答率为 0；Condition D 下六模型分数差距收窄到 0.22（0.18–0.40）。
• 作者解读：作者称模型并非不了解技能中的危害——一旦有害意图被显式陈述就会拒答，而是"读取已安装技能并规划其执行"的框架绕过了拒答触发。

生态测量（RQ1、RQ2）

• 流行程度：4,858 个有害技能，占 4.93%；ClawHub 8.84%（2,355/26,629），Skills.Rest 3.49%（2,503/71,811）（Table 3）。最多的类别违规为 P3 网络攻击（1,134）、P6 隐私侵犯（962）、P12 欺诈（926）、H4 金融建议（865）、P13 平台滥用（732），合计占全部类别违规的 74.00%（Figure 6）。
• 参与度（仅 ClawHub）：有害技能下载中位数 261 高于非有害的 229（均值 647.69 低于非有害的 831.52），Mann-Whitney U 检验 p=2.37×10⁻¹⁰；零下载比例 2.21% 对 12.57%；star 分布无统计差异（p=0.30）（Figure 8）。
• 集中度：Skills.Rest 的 Gini 系数 0.54（前 10% 开发者贡献 48.21%）高于 ClawHub 的 0.37（前 10% 贡献 33.45%）（Figure 9）；74.58% 有害技能只违反一类，25.42% 违反多类。
• 平台机制：两个平台都宣称有某种审核（Skills.Rest 称有自动安全扫描与人工审核，ClawHub 用 VirusTotal 与 OpenClaw 内置管线扫描），作者假设有害率差距由平台结构、内容来源、发布流程与执行力度差异塑造，而非保障措施的名义存在。

分层敏感度与保障措施消融

• Tier 间差距：Tier 2 拒答率在 A、B、D 下分别仅 0.48%、0.48%、0.71%，而 Tier 1 为 14.74%、65.00%、91.28%；Tier 2 的 A→B 转换中 99.05% 的（技能, 模型）对保持服从状态。Condition B 下仅 15.71% 的 Tier 2 响应建议人工审核、2.14% 披露 AI。
• 保障消融（Table 7，Tier 2）：平均 harm score 在 C1（HiTL+、AID+）为 0.09、C2 为 0.37、C3 为 0.59、C4（均禁止）为 0.77；含 HiTL 指令的条件平均 0.23，不含为 0.68；含 AID 指令平均 0.34，不含为 0.57。
• 服从不对称：HiTL 指令在 C1–C4 下被遵循比例为 97.62%、94.05%、93.10%、98.33%（无论指令是要求还是禁止）；AID 指令要求披露时仅 74.05%（C1）和 41.43%（C3）被遵循，要求不披露时 98.57%（C2）和 99.05%（C4）被遵循。作者称模型存在不主动披露 AI 的默认倾向，与分类法对高风险决策透明度的要求冲突。

其他消融与分析

• 类别热图（Figure 11）：Condition A 下 P6（0.95）、P1（0.93）、P12（0.90）、P14（0.90）分数最高，P5（0.55）、P8（0.63）、P10（0.65）最低；Condition D 下所有 Tier 1 类别分数不超过 0.21，Tier 2 类别排序在三个条件下几乎不变。
• 识别方法对比（Table 11）：LLM 打分 F1 0.82，高于语义相似度方法 MiniLM 与 GTR-T5 的 0.79。
• 案例（附录 G）：Table 13 的 Tier 1 技能在 Condition D 下 6/6 拒答、B 下 4/6 拒答、A 下仅 1/6 拒答（平均分 0.83）；Table 14 的 Tier 2 保险技能在 C1 平均分 0.00、C4 平均分 0.92。
• 负面结果：P7（Compromise Child Safety）在测量中没有任何技能超过阈值，基准中该类为 0 条；Skills.Rest 无参与度数据，参与度分析只覆盖 ClawHub。

作者指出的局限与后续方向

• 规划而非执行（Section 8 Limitations）：评测的是智能体的规划行为而非真实执行；作者称沙盒化的端到端执行是 HarmfulSkillBench 未来的自然扩展方向。
• 模型覆盖（Section 8 Limitations）：仅评测 6 个主流 LLM，作者称覆盖所有近期模型在成本上不可行，更大模型的规模效应留待未来工作。
• 语言范围（Section 8 Limitations 与 Section 6.2）：用户任务与智能体响应均为英文，打分时非英文技能未翻译，可能低估文化本地化的有害技能。
• 注册表审核（Section 8 Discussion）：作者认为现有审核停留在安全层而非政策合规层，未来注册表应补充基于使用政策的内容级合规分析，并对武器开发、选举干预、Tier 2 专业决策等类别采取发布者身份验证与专家人工审核。
• 对齐改进（Section 8 Discussion）：作者认为拒答训练应把技能规范作为输入通道、Tier 2 保障应成为默认行为而非依赖指令，并提出可采用宪法式或政策落地的对齐方法。

实验覆盖范围

• 被测模型：共 6 个（GPT-4o、GPT-5.4-Mini、Gemini 3 Flash、Qwen3-235B-A22B、Kimi K2.5、DeepSeek V3.2），均经 API 访问、temperature=0。
• 测量范围：ClawHub 与 Skills.Rest 两个注册表共 98,440 个技能；参与度分析仅覆盖 ClawHub（Skills.Rest 无参与度数据）。
• 基准规模：200 个技能 × 6 模型，条件 A、B、D 各 1,200 条响应，C1–C4 各 420 条；论文未报告每个提示的重复采样次数。
• 识别与评审质量：识别阈值 0.60 下 precision 0.74、recall 0.92（Table 2）；评审人工验证样本 99 条，Spearman ρ=0.92、拒答检测准确率 91.92%；标注一致率 93.20%、Cohen's Kappa 0.85。
• 统计检验：参与度差异报告了 Mann-Whitney U 检验；基准上的模型间与条件间差异未报告统计显著性检验。

一篇关于智能体技能生态的测量与基准论文：作者研究"有害技能"——预期用途本身违反 AI 使用政策的技能，威胁模型中用户是攻击者、智能体是工具、第三方是受害者。

• 问题：作者称已有研究关注技能内部的恶意载荷（恶意技能），但缺少对有害技能规模的大规模测量，也没有评测智能体能否拒绝有害技能的基准。
• 方法：从 ClawHub 与 Skills.Rest 收集 98,440 个技能，用 GPT-5.4-Mini 按 21 类分类法打分（阈值 0.60，F1 0.82）；构建 HarmfulSkillBench（200 个技能、20 类、条件 A/B/D 加 Tier 2 的 C1–C4），用 GPT-5.4-Mini 评审 6 个 LLM，人工验证 ρ=0.92。
• 测量结果：4,858 个技能有害（4.93%），ClawHub 8.84%、Skills.Rest 3.49%；有害技能下载中位数高于非有害技能（261 对 229），star 无差异；生产集中在少数开发者，Skills.Rest 更明显（Gini 0.54 对 0.37）。
• 基准结果：平均 harm score 从 Condition D（无技能）的 0.27 升至 B（技能+显式任务）的 0.47、A（被动暴露）的 0.76，平均拒答率从 59.58% 降至 9.75%；作者称这是"技能读取利用"（skill-reading exploit），且几乎完全是 Tier 1 现象——Tier 2 拒答率在任何条件下不超过 0.71%。
• 保障消融：Tier 2 上 HiTL 指令被遵循 93.10%–98.33%（无论要求还是禁止），而要求披露 AI 的指令仅 41.43%–74.05% 被遵循；作者称模型存在不主动披露 AI 的结构性倾向。
• 作者结论：注册表审核应从安全扫描扩展到政策合规分析，对齐训练应把技能规范视为输入通道并让 HiTL 与 AID 成为默认行为；作者已向注册表披露并以门控方式发布基准。