当技能告诉智能体不要请示：智能体技能中监督指令的大规模研究

核心问题：agent skills 中存在让智能体绕过人类监督的指令（oversight-loosening directives），但其规模、分布、传播和可检测性此前无人研究。

• 场景与重要性：skills 是以 SKILL.md 为核心的可复用指令包，被广泛共享和复制；作者指出，一行指令就能改变所有加载它的智能体的监督设置，而被告知"不要问"的智能体在面对误读任务或恶意网页时也不会停下来问。
• 现有工作的不足：作者称，此前的安全研究关注恶意 skills、漏洞和凭证泄露，扫描器问的是"是否含攻击"，而放松指令不含攻击内容；对 AGENTS.md、Cursor rules 等指令文件的研究按主题分类，不问指令对监督的影响。
• 核心观察：监督语言有极性——同一短语在不同位置可以放松也可以收紧监督，简单关键词匹配无法区分；放松指令本身不一定是恶意的，多数只是让工作流不被打断。
• 论文提出：放松/收紧监督指令的概念、一套按极性（polarity）、机制（mechanism）、范围（scope）分类的 codebook、2,097 个人工标注单元、一个检测器，以及对 1.53M 英文技能的测量和对两个开源扫描器的审计。
• 研究问题：RQ1 普遍性与机制；RQ2 哪类技能更可能含放松指令；RQ3 放松指令如何随复制传播；RQ4 现有扫描器检出能力如何。

Agent 中的监督机制

• Parasuraman 等（2000）与 Sheridan 和 Verplank（1978）——把自动化视为人机控制的连续谱；Feng 等（2025）按用户角色定义智能体自主性层级。
• Shavit 等（2023）——建议对高影响或不可逆行动要求人类批准；编码智能体以批准提示、权限模式、允许/拒绝列表、抑制提示的标志位等实现这些实践（Liu 等 2026 分析 Claude Code 设计空间）。

Agent skills 的安全分析

• Liu 等（2026）——31,132 个市场 skills 中 26.1% 含至少一个潜在漏洞模式。
• Liu 等（2026，另一篇）——在 98,380 个注册 skills 中确认 157 个恶意 skills。
• Holzbauer 等（2026）——对 238,180 个 skills 运行多个扫描器，发现扫描器之间很少一致，多数标记经上下文复核后不成立；开源扫描器结合静态规则与可选 LLM 分析（Cisco skill-scanner、NVIDIA SkillSpector）。

Agent 指令文件的实证研究

• Jiang 和 Nam（2026）——把 Cursor rules 分为约定、指南、项目信息、LLM 指令和示例，发现 28.7% 的规则行是重复的。
• Chatlatanagulchai 等（2026）——对 2,303 个 CLAUDE.md、AGENTS.md 等上下文文件的指令分类。
• 作者指出，这些研究按主题分类指令，没有一个问指令是放松还是收紧人类监督。

基线与对比对象：RQ4 的基线为关键词词表匹配、GPT-5.4 配合本文 codebook、以及本文检测器；被审计的扫描器是 Cisco AI Defense skill-scanner 2.2.1 和 NVIDIA SkillSpector 2.12.0（各跑离线和 LLM 两种模式）。数据集为 GitSkills（Destefanis 等 2026）。

作者将本文定位为：提出与恶意内容不同的一类风险（放松监督指令），并提供首个大规模测量（作者称 "the first large-scale study"）。

整体思路：从 GitSkills 数据集中筛选英文技能，把技能正文切成单元，用正则词表检索候选单元，制定监督指令 codebook 并人工标注，训练检测器标注全部 137 万候选单元，分别支撑四个研究问题。

数据与候选单元

• 分析总体：GitSkills 含 3,797,117 个 SKILL.md 文件，按内容哈希去重为 1,877,981 个；经四条筛选（是技能、不早于 2025 年 10 月、非符号链接占位、英文）剩 1,527,281 个不同技能、3,301,422 个出现次数。
• 单元切分：技能正文切成句子、列表项、表格单元格或代码行，每个单元带上下文（小节标题和前后单元）阅读。
• 词表检索：36 个正则模式（如 "without asking"、--no-verify）做过滤，匹配即为候选单元，共 137 万；词表只检索不判定。

Codebook 与人工标注

• 四级标签：类型（指令 D / 提及 M / 都不是 N）、极性（放松 L / 收紧 T）、机制（九类，Table 1：PERM、CONF、PERSIST、SAFE、AUTO、TRANS、ACT、INVOKE、PREC）、范围（仅放松指令：限定条件或 unscoped）。判定标准是删掉该单元是否会改变人类对智能体的控制。
• 开发过程：codebook 经 v0–v2 三版，v2 要求标注者先答三个问题再套用细则；另有 12 条决策规则处理分歧案例。
• 标注集：六个集合共 2,097 个不同单元；1,600 个分层抽样单元构成流行度样本，500 个被复制最多的单元构成 census。第一作者标注或复核了全部单元，Claude Opus 5.5 作为独立第二标注者标注其中 1,000 个，分歧全部由第一作者裁定；gold 集上三类标签 κ=0.82（Table 2）。

检测器

• 组合两个分类器：微调 RoBERTa-base（双头：三类标签+机制，三个随机种子平均）与 Jev 1.13（免微调，两道选择题，概率按 neither 1.0 / loosening 0.25 / tightening 0.75 重加权），平均两者概率，机制取 Jev。
• 性能：400 个 gold 单元上 accuracy 0.80、κ=0.65、放松 F1 0.65（precision 0.70、recall 0.61）（Table 3）；作者称与 GPT-5.4 配合 codebook 表现相当但成本低十倍以上。

四个 RQ 的分析方法

• RQ1：流行度样本加权估计单元级流行度（95% bootstrap CI），检测器给出技能级估计；census 支撑按复制数加权的估计。
• RQ2：对 512,876 个候选技能拟合三个 logistic 回归（M1–M3），logit P(Y_s=1)=α+β^⊤ c_s+γ^⊤ r_s+δ^⊤ z_s，其中 Y_s 为技能是否含放松（M1、M2）或收紧（M3）指令，c 为九项能力特征（shell 代码块、装包、sudo、curl | sh 等），r 为仓库上下文（stars、是否被复制），z 为控制变量（长度和候选单元数的对数），标准误按仓库聚类。
• RQ3：MinHash 估计 5 词序列 Jaccard 相似度 ≥0.7 连成近重复技能族（118,076 个族），测放松的集中度；以最早提交者为祖先，比较变体新增与删除单元中放松的占比。
• RQ4：在 400 个 gold 单元（61 条放松）上评估两个扫描器（离线/LLM 模式）与三个基线，指标为 precision、recall（95% CI）、F1 和误标收紧指令的比例（%T）。

实验设置

• 数据：GitSkills 中 1,527,281 个不同英文技能（3,301,422 个出现次数）；137 万候选单元。
• 人工标注：2,097 个单元；1,600 单元流行度样本 + 500 单元 census；400 单元 gold 集（61 条放松指令）用于评估检测器和扫描器。
• 模型：Claude Opus 5.5 任第二标注者；检测器为 RoBERTa-base + Jev 1.13 组合；GPT-5.4、GPT-5.4-mini 作为 LLM 分类器对比；扫描器 LLM 模式经 GPT-5.4 集成。
• 被审计扫描器：Cisco AI Defense skill-scanner 2.2.1、NVIDIA SkillSpector 2.12.0，各跑离线和 LLM 两种模式；单元被标记的判定是该行有 medium 及以上严重度的发现或发现引用了该单元。
• 指标：流行度（95% bootstrap CI，2,000 次重抽样）、odds ratio（95% CI 按仓库聚类）、precision/recall/F1、Cohen's κ、McNemar 检验。
• RQ2 样本：512,876 个候选技能，其中 17.2% 含放松指令、50.4% 含收紧指令（detector reference）。

主结果

RQ1 流行度（Table 4，候选单元层面）与 RQ4 扫描器表现（Table 6，gold 集 400 单元、61 条放松）：

指标	数值	出处
候选单元中是指令（人工）	49.7% [46.8, 52.6]	Table 4
放松指令占比（人工 / 检测器）	13.3% [11.7, 15.0] / 10.3%	Table 4
收紧指令占比（人工 / 检测器）	36.4% [33.7, 39.2] / 39.3%	Table 4
放松中 unscoped 占比	70.1% [63.9, 75.8]	Table 4
含 ≥1 放松指令的技能	5.8%（约 88,000 个）	§4.1 Finding 1.5
含 ≥1 收紧指令的技能	16.9%	§4.1 Finding 1.5

表格较宽，可左右滑动

RQ4 方法	Prec.	Recall	F1	%T
关键词词表	0.20	0.82	0.33	24%
Cisco 离线	0.14	0.02	0.03	29%
Cisco + LLM	0.39	0.15	0.21	13%
SkillSpector 离线	0.21	0.21	0.21	29%
SkillSpector + LLM	0.27	0.46	0.34	23%
两者任一 + LLM	0.28	0.51	0.36	23%
GPT-5.4 + 本文 codebook	0.71	0.61	0.65	4%
本文检测器	0.70	0.61	0.65	4%

（据 Table 6；recall 的 95% CI 见原表）

• 作者称收紧是放松的 2.7 倍，但放松并不罕见；放松主要经权限标志（33.9%）、跳过确认（27.4%）、不停下（16.0%）三类机制（Table 1）。
• 作者指出检测器放松召回（0.61）低于精度（0.70），5.8% 更可能是低估。
• 作者称扫描器把护栏误当风险：23%–29% 的标记落在收紧指令上，而本文检测器只有 4%；同一 LLM 换问监督问题后 F1 0.65，与检测器统计上不可区分（p=1.0）。

RQ2：哪类技能更可能含放松指令

• 测了什么：九项能力特征与含放松/收紧指令的关联，控制技能长度和候选单元数（n=512,876，Table 5）。
• 结果：shell 代码块、装包、sudo 的放松 OR 为 1.74–1.82，curl | sh 为 1.31，网络调用 1.19；引用密钥的技能 OR 0.77（更低）；破坏性命令无关联（OR 0.98）。收紧侧：装包、sudo、curl | sh 的 OR 为 0.59–0.77（更少收紧），git 写例外（OR 2.01，更多收紧）。
• 作者解读：在等量监督语言下，执行类技能更可能放松监督且不以增加收紧补偿；stars 与放松无关，被复制到 ≥2 个仓库的技能放松 OR 1.13；12,484 个技能（0.82%）同时含放松指令与破坏性命令/curl | sh/sudo。

RQ3：放松如何传播

• 测了什么：复制是否放大放松、放松在技能族和措辞上的集中度、变体对监督文本的编辑（MinHash 近重复族，阈值 0.7，另在 0.6/0.8 重复）。
• 结果：复制不放大放松（不同技能 5.8% vs 出现次数 5.4%，比值 0.94）；携带放松最多的 100 个族占放松携带技能出现次数的 23%，仅占全部技能出现次数的 1.4%；960 个不同放松单元（86,048 中的 1.1%）占全部放松出现次数的一半；93.4% 的变体不改动祖先的监督指令（各设定下 92–97%）；变体新增单元中放松占 20.3%、删除中占 20.2%（+0.1 个百分点 [−5.3, +4.7]）。
• 作者解读：放松主要经少数上游技能传播，采用者很少改监督文本；以最常被复制者为祖先时，变体略多增放松（+1.4 到 +5.5 个百分点，五个设定中两个显著），作者称至多有小幅向放松的偏移。

其他消融与分析

• 词表召回审计：250 个随机技能中，词表估计捕获 32% [14%, 75%] 的放松指令、16% [10%, 25%] 的收紧指令（§6），作者因此称流行度估计是下界、2.7:1 的比值保守。
• 持久性机制口径：只算跳过人类 check-in 的"不停下"时，放松流行度为 12.7% [11.0, 14.4] 而非 13.3%（§6）。
• RQ2 稳健性：五种重拟合下 shell、装包、sudo 均保持显著，curl | sh 除高置信度设定外显著；在全量 1.53M 技能上网络调用失去显著、复制方向反转（OR 0.85）。
• 流行度样本上复现 RQ2：shell、网络、装包、git 写方向一致，密钥、sudo、curl | sh 不一致（后两者仅基于 39 和 42 个单元）。
• 检测器组合在 gold 集上修正 RoBERTa 的 43 个错误、新增 20 个（McNemar p=0.005）；置信度 ≥0.9 的单元（31%）97% 正确。
• 排除安全工具仓库和测试目录后放松占比仅从 13.2% 变到 13.3%；分标注集估计为 12.5%–15.6%。

作者指出的局限与后续方向

• 第二标注者是 LLM（§6）：没有第二个人类标注者，一致性反映的是人与模型而非两个人；预标注集可能受提案锚定，不计入可靠性。
• 词表召回有限（§6）：词表估计只捕获 32% 的放松指令和 16% 的收紧指令，流行度估计以候选单元为条件，绝对计数是下界；RQ2 假设漏检与技能能力无关，但召回样本太小无法检验。
• 检测器误差（§6）：技能级分析依赖放松 F1 0.65 的检测器；RQ3 的祖先由提交时间或复制数推断而非观测，两种祖先规则在小幅偏移上结论不一致。
• 外部效度（§6）：GitSkills 只覆盖公开 GitHub 仓库，私有和市场 skills 可能不同；只分析英文技能；LLM 模式扫描只在 400 个 gold 单元上用 GPT-5.4 一个模型评估，置信区间宽。
• 只测文本未测行为（§5）：作者鼓励未来工作检验智能体是否遵从监督指令、scope 子句是否改变其行为。
• 后续方向（§5）：改进词表召回、把分析扩展到 AGENTS.md 等其他指令文件、追踪放松指令随时间的变化。

实验覆盖范围

• 数据为 GitSkills 公开 GitHub 仓库的 1,527,281 个不同英文技能；非英文技能被排除（英文占不同内容的 85.6%）。
• 被审计的扫描器为 Cisco skill-scanner 2.2.1 和 SkillSpector 2.12.0 两款，选择标准是开源、本地运行、含规则与 LLM 两种分析、按行报告；其他扫描器未纳入。
• 扫描器 LLM 模式只经 GPT-5.4 集成评估；gold 集为 400 个单元、其中 61 条放松指令。
• 人工标注共 2,097 个单元，全部由第一作者标注或复核；论文未报告第二个人类标注者。
• 论文未报告智能体加载含放松指令的技能后的实际行为实验。

这是一篇关于 agent skills 安全的大规模测量研究，提出了"放松监督指令"这一与恶意内容不同的风险概念。

• 问题：skills 中有些指令让智能体不经确认行动、用 --no-verify 跳过检查、不停下来汇报；它们移除人类监督的检查点，而此前无人研究其规模与传播。
• 方法：从 GitSkills 筛出 1,527,281 个不同英文技能，用 36 个正则模式检索 137 万候选单元，制定按极性、机制、范围分类的 codebook，人工标注 2,097 个单元（Claude Opus 5.5 任第二标注者，gold 集 κ=0.82），训练 RoBERTa+Jev 检测器（放松 F1 0.65）标注全量。
• 主要结果：候选单元中 13.3% 放松监督、36.4% 收紧监督；5.8% 的英文技能（约 88,000 个）含至少一条放松指令，70.1% 无条件适用；放松主要经权限标志（33.9%）、跳过确认（27.4%）、不停下（16.0%）实现。
• 风险语境：在等量监督语言下，含 shell 代码块、装包、sudo 的技能含放松指令的 odds 为 1.7–1.8 倍，且不以增加收紧补偿；12,484 个技能同时含放松指令与破坏性命令、curl | sh 或 sudo。
• 传播：复制不放大放松；2.4% 的携带放松的技能族占放松携带技能复制量的一半，1.1% 的放松措辞占放松出现次数的一半；93.4% 的变体不改动监督文本。
• 检测：两个开源扫描器离线召回 2%–28%，加 LLM 后 15%–46%，精度低于 0.4，且 23%–29% 的标记误伤收紧指令；同一 GPT-5.4 换用本文 codebook 提问即达 F1 0.65。
• 作者结论：扫描器漏检不是因为模型认不出，而是因为没有被问对问题；作者建议技能作者加 scope 子句、厂商在安装时警告无条件放松、修复应瞄准少数上游技能，并提供 codebook、标注和检测器供社区使用。