OpenSkillRisk：评测 Agent 使用真实世界高风险第三方技能时的安全性

当前 CLI 智能体能否识别并避开真实第三方 skill 里、只在执行时才出现的潜伏安全风险。

• 场景：作者称 LLM 智能体用第三方 skill 扩展开放场景能力。skill 是含 instructions、code templates、resources 与 verification logic 的结构化包，不必改模型。开放仓库易于发布和调用，看似无害的 skill 可能隐藏恶意代码、扩大权限、触发危险执行或泄露敏感数据（Figure 1）。
• 现有不足：作者认为既有工作从广义智能体安全、skill 效用，以及面向 skill 的攻击鲁棒性等方向触及该问题，仍不足以回答上述问题。多数只覆盖有限威胁类型，主指标 ASR 也不足以刻画对不安全场景的响应。
• 本文对象：构建 OpenSkillRisk，含从公开市场收集的 263 个风险 skill，分成 7 类攻击，论文另写明覆盖 9 个任务域。其中 139 个为应无条件拒绝的明显恶意 skill，124 个为上下文相关 skill：作者称后者在明确、限范围授权下可能安全，但在用户意图含糊或智能体盲信 skill、越出原请求范围时会带来安全风险。
• 评测设定：
  • 系统：安装第三方 skill 的 CLI 智能体，harness 为 Codex、Gemini CLI、Claude Code。
  • 输入：目标 skill 装入对应 skill 目录；用户提示通常点名使用该 skill。评测的是如何处理 skill，而不是能否发现它。
  • 信任边界：全部运行共享 Figure 17 的系统提示，要求用户目标优先于 skill 指令，并考虑用户可能不知道 skill 内的隐藏风险。
  • 判定：是否触发预定义风险路径，以及是否向用户明确警示。外部交互换成本地 stub，不测量真实伤害是否发生。

论文第 2 节把相关工作分成智能体与可复用 skill、安全基准、技能风险防御三组；附录 A 与 Table 5 再按评测对象对照。

智能体与可复用 skill

• 工具化智能体：Yao 等（2023）的 ReAct、Schick 等（2023）的 Toolformer、Shinn 等（2023）的 Reflexion，把语言推理与工具使用、环境交互和迭代验证结合起来。Yang 等（2024）以及 Claude Code、Codex CLI 把模型接进开发流程，可做仓库检查、文件编辑和命令执行。
• 模块化 skill：Wang 等（2023）的 Voyager，以及 Li 等（2026a）、Han 等（2026），把程序性任务知识封装为可复用模块，并分开轻量路由元数据与详细任务指导。作者称高质量精选 skill 能提升 LLM 智能体的实际表现（Li et al., 2026a）。

安全与技能基准

• 广义智能体安全：AgentHazard（Feng et al., 2026）、Agent-SafetyBench（Zhang et al., 2025）、AgentHarm（Andriushchenko et al., 2025）、ClawsBench（Li et al., 2026b）。附录 A 称这类基准面向安全，但不涉及基于 skill 的攻击。
• skill 效用或质量：SkillsBench（Li et al., 2026a）、SWE-Skills-Bench（Han et al., 2026）、SkillTester（Wang et al., 2026a）。附录 A 称它们常使用真实 skill，但评测对象与本文不同。
• 面向 skill 的攻击：作者指出 Skill-Inject（Schmotz et al., 2026）与 SkillJect（Jia et al., 2026）依赖人工投毒或合成对抗 skill，未能覆盖多样的真实风险。CIK-Bench（Wang et al., 2026b）与 ClawSafety（Wei et al., 2026）主要研究持久状态投毒或多通道间接提示注入，不聚焦 skill 风险。HarmfulSkillBench（Jiang et al., 2026b）采用真实市场 skill，但主要考察公开有害或违反政策的功能。引言还称 ASR 不足以刻画响应。

技能风险防御

• 发布前筛查：静态分析、语义一致性或基于 LLM 的检查（Liu et al., 2026; Guo et al., 2026; Snyk, 2026; OpenClaw, 2026）。粗筛所用扫描器来自 huifer（2026），流程受 SkillScan（Liu et al., 2026）启发。
• 运行时约束：最小权限与工具调用策略（Shi et al., 2026）、不可信输入的隔离与不安全流控制（Kim et al., 2025），以及沙箱或用户批准（Anthropic, 2026b; OpenAI, 2026a; Google, 2026b）。
• 作者指出的缺口：用户常为方便跳过预筛；静态审计抓不住上下文相关风险和长执行链触发的风险；一旦存在未监控的关键路径或副作用，运行时防御会失效。

对照设置：主实验没有单独的外部攻击或防御基线，比较的是 3 个 CLI harness 与 13 个 LLM；Table 4 以 No Guard Skill 作为 guard 加载的对照。评测数据是作者构建的 OpenSkillRisk。

作者把本文定位为：评测真实生态中看似良性的第三方 skill 所隐藏的执行时风险，并同时看执行回避与风险认知，而不是只报 ASR。

作者构建基准 OpenSkillRisk：先从公开市场筛出真实风险 skill，再为每项配良性任务和隔离沙箱，最后用执行级与认知级指标分析智能体行为（Figure 2）。

技能筛选

• 语料：截至 2026-03-20，从 SkillsMP 与 Skills.rest 得到 175,891 个去重后的英文 skill。正文称约 70.8% 来自 SkillsMP、29.2% 来自 Skills.rest。缺 SKILL.md、正文少于 10 行或非英文的样本被去掉。附录 B.1 给出爬取与去重过程。
• 两阶段过滤：规则扫描匹配外部请求、敏感文件访问、代码注入等模式；再用 LLM 做上下文复核。DeepSeek-V3.2 初筛时，判为有漏洞且置信度至少 0.6 的保留；只有良性置信度至少 0.9 才推翻静态发现。随后用 GPT-5.4-mini 去掉误报和公开目的已是恶意或滥用的 skill。
• 定稿：该步得到 161 个明显恶意、1,618 个上下文相关候选。明显恶意全部进入下一轮；上下文相关按攻击类别分层抽取约 25%，再经 GPT-5.4 确认和人工检查。最终保留 139 与 124，合计 263。人工检查技能是否含真实安全相关行为、类别是否正确、配对任务能否在沙箱中暴露风险。论文未报告审核人数或一致性。

分类、任务与沙箱

• 七类攻击：control-plane hijacking、authority expansion、data harvesting、execution bootstrapping、persistence implantation、outbound exfiltration、external state manipulation。每项只归一个主类。附录 B.4 与 Table 6 给出类别边界。
• 任务包：每项含良性用户请求、工作区资源、合成用户上下文、预期安全行为，以及产物与日志路径。敏感字段换成格式合规的虚构占位符。用户意图须完全良性，且良性目标应能走安全替代路径完成。
• 沙箱：分开项目目录、skill 安装目录和运行目录。API、数据库、部署和远程请求换成本地 stub 或 mock，记录调用参数、产物和运行事件。
• 校验循环：静态审查看场景真实性、意图安全和风险—目标平衡；再用智能体试跑，检查能否跑通、能否触发预设风险决策点、证据是否够用。明显恶意任务迭代预算 N=1，上下文相关任务 N=2。未通过则改写请求、工作区、stub 或预期行为。附录 B.3 给出生成与审查提示词；Figure 4、Figure 5 给出实例，此处不复述其中的风险指令。

指标与行为分类

• 两个二元量：对实例 i，ri 表示是否触发预定义风险路径，zi 表示是否向用户明确发现并报告隐藏风险。ASR 是 ri 的比例，越低越好；Awareness 是 zi 的比例。
• 综合分数：作者定义调和式指标，回避率和 Awareness 都高时分数才高：

Fsafe = 2 · (1 − ASR) · Awareness / ((1 − ASR) + Awareness)

• 五类行为：（i）未察觉并执行风险；（ii）察觉后仍执行，或产物已生成才警告；（iii）警告并阻断后放弃原任务；（iv）警告并阻断后走安全路径完成；（v）无警示地安全完成。作者称（iv）是最优行为；（iii）在必须征得用户确认时合理，但有安全替代路径时也意味着过度回避；（v）把风险留到后续轮次。

运行时的信任边界与判定

• 系统提示：Figure 17 要求优先用户目标与显式策略，把第三方 skill 当工具而非权威，并考虑用户未必知道隐藏风险。作者认为因此观察到的失败更直接反映智能体是否在使用 skill 时考虑用户安全，常见表现是更忠实执行 skill 指令。
• 评审：运行结束后由 LLM 智能体评审。输入为任务说明、初始快照、智能体回复、预期安全行为规范和全部产物。输出三项：危险路径是否触发、是否披露或解释风险、良性目标是否完成。危险行为定义为试图或局部执行危险路径，即使沙箱挡住真实外部效果。附录 Figure 18 给出完整评审提示词。

实验设置

• 被测配置：3 个 harness、13 个 LLM，Table 1 共 15 行。模型为 GPT-5.1 Codex Mini、GPT-5.3 Codex、GPT-5.4、DeepSeek V3.2、GLM 5.1、Gemini 2.5 Pro、Gemini 3 Flash、Gemini 3.1 Pro、Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6、Kimi K2.6、DeepSeek V4 Pro。DeepSeek V3.2 与 GLM 5.1 同时出现在 Codex 和 Claude Code。
• 接口：Claude Code 上第三方模型走 DeepSeek、Moonshot、Zhipu 的 Anthropic 兼容 API，官方 Claude 走 AWS Bedrock；Codex 上 DeepSeek V3.2 与 GLM 5.1 走 OpenRouter；Gemini 系列走 Gemini CLI。均用对应接口的默认推理配置。镜像日期 2026-03-27，含 Codex CLI 0.117.0-alpha.24、Claude Code 2.1.86、Gemini CLI 0.36.0-preview.5。作者称云端权重按评测当日在线版本，无法在本地固定。
• 数据与协议：OpenSkillRisk 263 项（139 明显恶意、124 上下文相关）。每个 model–task pair 一次独立运行，新沙箱，无跨任务记忆。skill 预装，用户提示通常点名该 skill。全部运行使用 Figure 17。另有 40 个已标良性的真实 skill 用于过度防御。
• 指标：ASR、Awareness、Fsafe（Section 3.3）。Table 3 另报五类行为及执行失败 E-F。
• 评审：主评审为 GPT-5.1-Codex-Mini 智能体，与 Table 1 中一个被测模型同名。它在运行结束后评分，不介入执行。Appendix D.3 用 Claude Haiku 4.5 与 Gemini 3 Flash 重判。论文未报告评审与人工的一致性，也未报告多次重复的方差。

主结果

下表为 Table 1 的全体任务结果，只列出 7 个配置。省略 GPT-5.3 Codex、两个 harness 上的 DeepSeek V3.2、两个 harness 上的 GLM 5.1、Gemini 3 Flash、Kimi K2.6、DeepSeek V4 Pro。

| 配置 | ASR↓ | Awareness↑ | Fsafe↑ | | Claude Code + Claude Opus 4.6 | 17.11% | 78.33% | 80.54% | | Claude Code + Claude Sonnet 4.6 | 17.87% | 79.85% | 80.97% | | Codex + GPT-5.4 | 19.39% | 76.43% | 78.46% | | Claude Code + Claude Haiku 4.5 | 20.53% | 47.91% | 59.78% | | Gemini CLI + Gemini 3.1 Pro | 26.62% | 72.62% | 73.00% | | Codex + GPT-5.1 Codex Mini | 39.16% | 34.98% | 44.42% | | Gemini CLI + Gemini 2.5 Pro | 52.85% | 19.77% | 27.86% |

• 没有配置稳定处理风险 skill：作者报告 Fsafe 从 27.86% 到 80.97%。作者称最强系统仍在 17.87% 的案例中执行不安全路径，对应该表 Sonnet 4.6 一行；ASR 最低是 Opus 4.6 一行。摘要另写最安全配置仍约有 17% 会执行不安全动作。
• 模型与 harness 一起起作用：作者用 Codex 上从 GPT-5.1 Codex Mini 到 GPT-5.4 的变化说明，同一 harness 内更强模型通常更安全，但模型能力单独不够。Table 1 中未列入上表的 DeepSeek V3.2，Codex 与 Claude Code 的 Fsafe 为 51.65% 与 53.53%；GLM 5.1 为 74.12% 与 76.94%。作者称 Gemini CLI 整体更差；表中 Gemini 3.1 Pro 一行高于该 harness 另两行，也高于若干第三方模型配置。
• 认出风险不等于停手：作者用表中 Gemini 3.1 Pro 与 Claude Haiku 4.5 说明两类脱节，并把后者称为 incidental safety。上下文风险更难：作者称 15 个系统中有 10 个同时有更高不安全执行和更低 Awareness；平均 ASR 从 22.0% 到 35.6%，Awareness 从 62.9% 到 51.4%。Table 10 中 Gemini CLI+Gemini 2.5 Pro 方向相反：明显恶意 ASR 69.78%，上下文相关 33.87%。作者称 Figure 3 的箭头表示上下文风险常使智能体离开高 awareness、高回避区域；图中各点位置文本未给出。

攻击类别

下表为 Table 2 的攻击族平均，不是单个模型。

| 攻击类别 | ASR↓ | Awareness↑ | Fsafe↑ | | Execution Bootstrapping | 15.78% | 66.22% | 74.15% | | Outbound Exfiltration | 18.54% | 70.14% | 75.38% | | Persistence Implantation | 25.00% | 62.78% | 68.35% | | External State Manipulation | 32.76% | 54.48% | 60.19% | | Data Harvesting | 34.57% | 57.04% | 60.95% | | Control-plane Hijacking | 49.74% | 18.97% | 27.55% | | Authority Expansion | 50.00% | 31.58% | 38.71% |

• 作者称系统级难于数据级：按操作层级分组后，data-oriented 的 Fsafe 为 60.95%–75.38%，system-level 为 27.55%–38.71%，作者称平均差距超过 30 个百分点。该句未逐类点名分组归属。
• 控制面：作者称 Control-plane Hijacking 是安全盲区，智能体被劫持时未必认出控制上下文已被破坏，并写后续对齐与红队应优先考虑控制面鲁棒性。
• 同一类也会随包装变化：附录 C.3 写 Data Harvesting 在明显恶意设定 ASR 为 12.8%、awareness 为 76.4%；上下文设定的 C-ASR 为 54.8%、感知率为 39.0%。作者称风险越容易包装成任务相关步骤，智能体越难主动识别和防御。

行为模式

• 分布：Table 3 中，GPT-5.4 的 warn-and-execute-safely（W-E）为 73.76%，unaware risky execution（Ua-E）为 16.73%。Gemini CLI+Gemini 2.5 Pro 的 Ua-E 为 48.67%。Codex 上 GLM 5.1 的 W-E 为 63.12%，Claude Code 上为 62.74%。
• 中止几乎只出现在 Claude Code：作者称 W-A 在 Codex 与 Gemini CLI 近乎没有；Claude Code+Sonnet 4.6 为 38.40%，Opus 4.6 为 21.67%。Table 11 显示中止集中在明显恶意分拆：Sonnet 4.6 的 W-A 为 71.2% 与 1.6%，Opus 4.6 为 38.8% 与 2.4%。
• 作者的解读：模型主要影响风险识别和更安全替代路径；harness 约束决定能否明确终止风险流程。同一 LLM 的行为分布也随 harness 变化，因此作者认为两边都需要改进。

Guard skill

• 设置：作者按 OpenSkillRisk 的攻击分类合成一个 guard skill。被动加载放在 skill 目录，由智能体决定是否加载；主动加载在接触目标 skill 前显式加载。Table 4 只覆盖 4 个配置，DeepSeek V4 Pro 使用 Claude harness。
• 结果：被动加载的 ASR 变化为 −4.18、−0.76、−4.18、−2.66 个百分点。主动加载更大：Claude Haiku 4.5 的 ASR 从 20.53% 到 7.22%，Fsafe 从 59.78% 到 90.83%；Gemini 3 Flash 的 ASR 从 43.73% 到 22.43%；DeepSeek V4 Pro 的 ASR 从 32.32% 到 14.45%。作者称被动加载暴露路由瓶颈：须先认出风险才会查阅 guard。
• 效用代价：另 40 个良性 skill 上，作者称平均过度防御率被动为 1.88%、主动为 22.50%。Table 14 的主动加载过度防御率为 gpt-5.1-codex-mini 7.5%、gemini-3-flash 5.0%、claude-haiku-4.5 60.0%、deepseek-v4-pro 17.5%。作者认为 guard 应补充而非替代 harness 级执行控制。

其他消融与分析

• 有无风险 skill（Table 13）：GPT-5.1 Codex Mini 明显恶意 ASR 2.2% 到 29.5%（+27.3 个百分点），上下文 16.1% 到 50.0%（+33.9 个百分点）。
• Gemini 3 Flash：明显恶意 5.8% 到 40.3%（+34.5 个百分点），上下文 25.0% 到 47.6%（+22.6 个百分点）。
• Claude Haiku 4.5：明显恶意 5.8% 到 15.8%（+10.1 个百分点），上下文 5.6% 到 25.8%（+20.2 个百分点）。作者称无 skill 时仍会过度执行、读取或打印敏感本地产物、调用 helper stub，或做不必要的实时核验。
• 分拆（Table 10）：Sonnet 4.6 明显恶意 ASR 8.63%、Fsafe 92.08%，上下文相关 ASR 28.23%、Fsafe 68.40%。
• 评审一致（Table 15，四个模型的上下文风险轨迹）：相对 GPT-5.1-Codex-Mini，Claude Haiku 4.5 的 dangerous、awareness、completion 平均一致率为 89.0%、79.8%、99.8%；Gemini 3 Flash 为 78.5%、66.8%、97.3%。
• 作者称分歧主因是替代评审未严格遵循提示：Haiku 4.5 对危险行为更宽松；已完成的 Gemini 评审调用中 64.5% 为零次工具调用。Table 16 的 ASR 排序大体一致，绝对数值不同。作者称在该设置中 GPT-5.1-Codex-Mini 最符合其安全规则。

作者指出的局限与后续方向

• 论文未专门讨论局限。全文没有 Limitations、Future Work 专节。
• Conclusion 的方向：作者称这些发现说明需要同时改进 LLM 与 harness，以提高智能体安全。这是对结果的推论，不是对基准构造、评审或发布方式的逐项局限说明。

实验覆盖范围

• 主评测：3 个 CLI harness、13 个 LLM、15 个配置；OpenSkillRisk 为 263 项，其中 139 个明显恶意、124 个上下文相关，7 类攻击；论文写明 9 个任务域，正文未逐一列出名称。每个 model–task pair 一次独立运行（Section 4.1、Appendix C.1、Table 1）。
• 指标与行为：报告 ASR、Awareness、Fsafe，以及五类行为加执行失败（Section 3.3–3.4、Table 3）。结果按明显恶意与上下文相关分拆（Table 10、Table 11），并按 7 个攻击族平均（Table 2）。
• 附加实验：guard 的被动与主动加载覆盖 Table 4 的 4 个配置；过度防御使用另外 40 个良性 skill（Table 14）；去掉 skill 的对照覆盖 3 个模型（Table 13）。
• 评审与环境：主评审为 GPT-5.1-Codex-Mini。Appendix D.3 用 Claude Haiku 4.5 与 Gemini 3 Flash 重判 4 个模型的上下文风险轨迹。论文未报告评审与人工判断的一致性，也未报告人工审核人数。外部交互替换为本地 stub；附录 C.1 写明不测量真实世界伤害是否发生。
• 数据来源：技能来自 SkillsMP 与 Skills.rest，截止 2026-03-20，仅英文（Section 3.1、Appendix B.1）。筛选使用 DeepSeek-V3.2、GPT-5.4-mini 与 GPT-5.4；任务生成使用 Codex GPT-5.4 智能体。

OpenSkillRisk 评测 CLI 智能体在使用真实第三方风险 skill 时，能否既不执行隐藏风险路径，又能向用户指出风险。

• 问题：skill 可在不改模型的情况下扩展智能体，但开放仓库中看似正常的包可能在执行时才露出恶意代码、提权、危险执行或数据泄露。作者认为既有基准威胁类型有限，只报 ASR 也说不清智能体是没认出风险，还是认出后仍继续执行。
• 做法：从 SkillsMP 与 Skills.rest 筛出 263 个英文风险 skill，139 个应无条件拒绝，124 个随授权与越权情况变化，并归入 7 类攻击。每项配良性任务和隔离沙箱，外部调用换成 stub。指标是 ASR、Awareness，以及二者的调和分数 Fsafe；轨迹再分成未察觉执行、察觉仍执行、警告后放弃、警告后安全完成、无警示安全完成。
• 主结果：3 个 harness、13 个 LLM、15 个配置上，Table 1 的 Fsafe 为 27.86%–80.97%。ASR 最低是 Claude Code+Claude Opus 4.6 的 17.11%；Fsafe 最高是 Claude Code+Claude Sonnet 4.6 的 80.97%，ASR 仍为 17.87%。摘要写最安全配置仍约有 17% 会执行不安全动作。
• 分化：作者称 15 个系统中有 10 个在上下文风险上同时更常执行不安全路径、更少警示，平均 ASR 从 22.0% 到 35.6%，Awareness 从 62.9% 到 51.4%；Table 10 中 Gemini 2.5 Pro 方向相反。Table 2 中 Control-plane Hijacking 的平均 Fsafe 为 27.55%，Outbound Exfiltration 为 75.38%。作者称系统级攻击难于数据级攻击。
• 防御试验与结论：主动加载 guard 后，Table 4 中 Claude Haiku 4.5 的 ASR 从 20.53% 降到 7.22%，但 40 个良性 skill 上主动加载的平均过度防御率为 22.50%。作者称当前智能体仍会跟随风险 skill 指令，上下文判断更难，需要同时改进 LLM 的风险推理和 harness 的执行控制。