SKILLLITE：用小模型做证据引导的恶意 Agent Skill 审计

如何在算力和隐私受限的本地环境里，用紧凑LLM有效审计第三方Agent Skill是否恶意。

• 场景与重要性：作者称LLM智能体靠Agent Skill扩展能力，Skill把任务指令、可执行组件和辅助资源打包。第三方Skill被广泛分发后形成供应链攻击面，恶意Skill可滥用智能体权限、访问敏感资源、操纵执行或未经授权对外通信，且安全敏感操作本身也可能是良性任务所必需。Cisco（2026）称ClawHavoc在ClawHub植入超过800个恶意Skill，约占注册表20%；CERT-EU（2026）另记一次OpenClaw供应链事件。
• 现有方法不足：规则静态分析（如Cisco Skill Scanner、NVIDIA SkillSpector）难以判断依赖上下文的行为。基于LLM的审计效果较好，但常依赖商用或大规模模型，涉及外部服务或较高本地开销；Skill源码与配置又可能必须留在受控本地环境。紧凑LLM审计复杂Skill包的效果仍 largely unexplored。
• 核心观察：作者归纳两类困难（Figure 1）。安全相关行为稀疏、分布在指令、脚本、配置和辅助资源中，单件产物往往看不出完整恶意行为，且孤立操作只有放进功能上下文才显恶意。紧凑LLM推理能力有限，难以同时定位证据、连接分散观察并解释安全含义。
• 本文提出：SKILLLITE，一种证据引导的智能体式审计框架。用分析器抽取安全行为，用紧凑LLM做意图分析与风险裁决，把行为锚定到功能上下文后再判定恶意与否，并给出可追溯理由。
• 威胁模型：
  • 目标：攻击者发布看似良性、内含恶意行为的第三方Skill，例如未授权资源访问、敏感信息泄露或非预期命令执行。
  • 知识与能力：攻击者可改动Skill包内任意产物（指令、源码、配置、辅助资源），并可用混淆或隐藏产物掩盖恶意逻辑。
  • 防御者：持有完整Skill包，在部署或执行前判定良性或恶意。形式化为 f(S) → y，y ∈ {BENIGN, MALICIOUS}。
  • 范围：只做包内恶意行为的预执行审计。纯运行时行为，以及针对底层智能体基础设施、模型或执行环境的攻击，不在范围内。

论文把相关工作分成Agent Skill、恶意Skill和恶意Skill检测三组。

Agent Skill机制

• 技能包结构（OpenAI, 2026; Anthropic, 2026; Jiang et al., 2026a; Xu & Yan, 2026）——Skill通常含SKILL.md，以及可选脚本、参考、模板和其他辅助资源，按需加载以减少上下文占用，且不必重训底层模型。
• 应用与组合——编码（Li et al., 2026b）、文档处理（Zhou et al., 2026）、数据分析（Abaskohi et al., 2025）、网页自动化（Zheng et al., 2025）和领域任务（Jiang et al., 2026a; Li et al., 2026a）；另有选择（Zhang et al., 2026）、组合（Li et al., 2026a）与跨任务适配（Alzubi et al., 2026）。
• 开放生态——社区注册表与市场让第三方发布、发现并接入Skill，从而把智能体供应链延伸到原开发者未维护的组件。

恶意Skill与实测威胁

• 攻击面（Liu et al., 2026b; Chen et al., 2026a; Feng et al., 2026）——可执行脚本、配置和外部资源中可嵌入凭证窃取、数据外传或未授权命令执行；第三方分发会放大影响。
• 野外测量（Liu et al., 2026b）——从公开注册表收集98,380个Skill，确认157个经行为验证的恶意Skill，威胁包括凭证窃取、远程代码执行和对抗性指令。
• 更复杂机制——触发式后门（Feng et al., 2026）、运行时Skill操纵（Chen et al., 2026a）、有害行为放大（Jiang et al., 2026b），以及多维风险（Hossain et al., 2026）。作者称这些威胁不同于常规恶意代码和对LLM/智能体的攻击。

部署前恶意Skill检测

• 规则静态分析——Cisco Skill Scanner（Cisco AI Defense, 2026）和NVIDIA SkillSpector（NVIDIA, 2026）扫描可疑命令、凭证处理、提示注入模式和危险安装逻辑。作者称它们高效、可解释，但缺少判断敏感行为是恶意还是功能所需的上下文理解。
• LLM语义审计——分诊（Hou & Yang, 2026）、结构化行为推理（Wang et al., 2026）、意图–实现一致性（He et al., 2026）、风险定位（Etteib et al., 2026），以及SkillProbe的多智能体协作审计（Guo et al., 2026b）。扫描器侧还有AI-Infra-Guard（Tencent Zhuque Lab, 2025）和SkillWard（Fangcun AI, 2026），通常把静态发现与LLM语义分析结合起来。
• 已知短板——Guo et al.（2026a）称现有代表性检测器对提示注入和智能体控制风险仍然较弱。作者还称现有LLM方法普遍建立在商用或大规模模型上；算力有限（Liu et al., 2024; Chen et al., 2026b）或隐私要求严格（Das et al., 2025; Zhao & Song, 2024; Wang et al., 2025）时更倾向紧凑模型，而这一方向 largely unexplored。

基线方法（第4.1节）：SkillSpector、AI-Infra-Guard Skill-Scan、Cisco Skill Scanner、SkillWard、Skill Vetter；SkillSpector与Cisco各分静态和LLM辅助两种配置。基准：MalSkillBench（Guo et al., 2026a）、SkillTrustBench（ski, 2026）、MaliciousAgentSkillsBench（Liu et al., 2026b）。

作者把本文定位为：在紧凑、可本地部署LLM上做恶意Skill审计，并用证据抽取与锚定减轻模型的推理负担。

SKILLLITE把审计拆成四个角色：安全证据抽取、意图分析、证据合成、风险裁决（Figure 2）。确定性分析器负责发现稀疏、分散的安全相关行为；紧凑LLM只做意图推断和基于结构化证据的裁决，以减轻对复杂异构包的直接推理。

问题设定

• 输入与输出：输入完整Skill包 S，预测 f(S) → y，y ∈ {BENIGN, MALICIOUS}，发生在部署或执行之前。
• 包的表示：S = {a1, …, an}，ai 为指令、脚本、配置或辅助资源。默认骨干为 Gemma4:e4b，本地用 Ollama 部署、不做微调。
• 行为类不等于恶意：安全相关行为类 B 包括敏感资源访问、对外通信、系统执行、持久化、隐蔽行为、智能体控制操纵。同一行为可出现在良性与恶意Skill中，不能孤立判定。

安全证据抽取

• 分析器集合：D = {D1, …, Dm}，确定性、互补。Appendix A.1 / Table 4 列出四类：通用安全模式（本地文件、网络、系统命令、权限修改）、语言感知代码分析（进程调用、网络API、环境变量、动态执行）、隐蔽载荷检查（编码载荷、隐藏辅助逻辑、拆分载荷、混淆执行）、智能体控制信号（审批绕过、沙箱绕过、控制流劫持、自主确认绕过）。
• 发现记录：F(S) 由各分析器作用在各产物上得到。每条发现记录行为、来源产物、支持证据和属性（Figure 2 示例含规则名、source、matched片段与 strength）。这些信号只作证据，不直接决定最终恶意判定。附录给出分析器覆盖，不在正文展开具体规则表。

意图分析与证据合成

• 意图规格：Intent Analyst 读 Skill 规格 Sspec（SKILL.md），输出 P = (g, C^exp)：声明的功能目标 g，以及支撑该目标、比例相称的预期能力 C^exp。例如部署类Skill可能预期网络访问和命令执行，文档处理类则不一定。非预期行为不直接判恶意，留到裁决阶段。Appendix D.1 给出完整提示词，要求输出声明目的和预期能力。
• 锚定：每条观察 e_k = (b_k, a_k, x_k, c_k, s_k)，分别是行为、来源产物、支持证据、周围源码上下文、证据强度。证据集 E = {e1, …, en}。
• 证据报告：R = (E, C^risk)。C^risk 把 E 与功能规格 P、适用安全策略 Π 放在一起。报告有两面：锚定证据说明观察到什么、出现在哪里；风险上下文给出功能预期和策略。

风险裁决与成功判定

• 三个互补方面：功能必要性（能力是否为声明功能合理所需）；良性反证（源码锚定证据能否为可疑行为提供可信理由）；对关键智能体风险，泛泛的功能理由不够，需要直接、针对该风险的反证。
• 组合而非单点：裁决同时看单个行为及其组合，包括各自看似合理、合在一起形成有害模式的情况。紧凑LLM在 R 上给出恶意判定和可追溯理由，理由要指向证据与功能上下文。
• 决策政策（Appendix D.1，只保留机制）：仅有安全敏感能力不意味着恶意；必要且比例相称的行为通常视为良性；强的、无法解释或带欺骗性的行为支持恶意判定；关键智能体风险要求直接的、针对该风险的良性反证。输出含可疑证据回顾、良性反证、是否存在滥用链、是否恶意、0–100的置信分和理由。实验中的成功判定是二分类指标，不是该置信分本身。

实验设置

• 被测骨干：默认 Gemma4:e4b。跨模型另测 Qwen3.5:9B、DeepSeek-R1:8B（thinking 开/关）、Mixtral-8x7B。开源模型经 Ollama 0.20.7 本地部署、不微调，每实例单卡。环境为 Ubuntu 22.04、2×AMD EPYC 7543、250 GB内存、NVIDIA RTX A6000 48 GB、Python 3.11.4（Table 5）。
• 数据集：MalSkillBench 含 3,944 恶意和 4,000 良性，覆盖代码注入、提示注入和混合攻击，15类恶意行为，共108种攻击向量×行为×插入策略组合（Appendix A.2）。SkillTrustBench 来自超过62,000个真实Skill，9个安全类别；按二分类去掉1,014个suspicious，保留2,863恶意和1,643良性，共4,506。MASB 从两个公开注册表的98,380个Skill中，经静态筛选加隔离环境行为验证得到157个恶意Skill（13种攻击技术、六个杀伤链阶段），并与同生态299个已验证良性Skill组成456个样本。
• 基线：SkillSpector、AI-Infra-Guard Skill-Scan、Cisco Skill Scanner、SkillWard、Skill Vetter。前两者与Cisco分静态和LLM辅助。LLM辅助基线在支持时使用与SKILLLITE相同的底层模型。SkillSpector原LLM流程用Gemma4:e4b时三个基准都因每样本300秒超时而失败率高，故改用GPT-4.1-nano，工作流不变（Appendix A.3）。SkillWard把UNSAFE映为恶意；Skill-Vetter把warning映为恶意。基线用官方实现和默认配置。
• 指标：Acc、Precision、Recall、F1（主指标）、FPR、FNR，以及每Skill平均端到端秒数。类别分析只对恶意样本报recall；SkillTrustBench与MASB的类别为多标签、非互斥。
• 输入：完整Skill包（规格、实现代码、配置、辅助产物）。论文未报告重复次数，也未报告与人工标注的一致性检验。

主结果

据 Table 1（MalSkillBench、SkillTrustBench）和 Table 2（MASB）。默认骨干为Gemma4:e4b；SkillSpector (LLM) 使用GPT-4.1-nano。

Swipe horizontally to read the table

方法	MalSkillBench F1	SkillTrustBench F1	MASB F1
Cisco SkillScanner (Static)	0.373	0.796	0.122
Cisco SkillScanner (LLM)	0.764	0.864	0.703
NVIDIA SkillSpector (Static)	0.567	0.856	0.224
NVIDIA SkillSpector (LLM)	0.667	0.850	0.262
SkillWard	0.752	0.901	0.131
Skill-Vetter	0.735	0.854	0.761
Tencent AI-Infra-Guard	0.850	0.885	0.797
SKILLLITE	0.905	0.966	0.807

• 检测：作者称SKILLLITE在两个主基准上总体检测最好，精度和召回同时较强。MalSkillBench上其Acc 0.909、Prec 0.944、Recall 0.869、FPR 0.051、FNR 0.132；SkillTrustBench上Acc 0.957、Prec 0.971、Recall 0.961、FPR 0.050、FNR 0.039。作者称保守方法常漏报，敏感方法常把合法敏感操作判成恶意；锚定到源码和功能上下文后两类错误都下降。
• 效率：MalSkillBench上每Skill 27.4秒，SkillTrustBench上28.5秒。作者称在MalSkillBench上约为最强竞争基线的3.5倍快；Table 1中AI-Infra-Guard为97.1秒，27.4相对97.1约为此量级。纯静态扫描更快（Cisco Static在MalSkillBench上0.1秒）但F1更低。
• MASB：Acc 0.878、Prec 0.892、Recall 0.737、F1 0.807、FPR 0.048、FNR 0.263，时延19.4秒。作者称总体Acc和F1最好且FPR低，说明没有靠过激策略泛化到野外。AI-Infra-Guard的F1为0.797，时延94.2秒，作者称约为SKILLLITE的4.9倍。SKILLLITE的Recall（0.737）低于Skill-Vetter（0.892）和AI-Infra-Guard（0.873）。

野外泛化与剩余错误

• 测了什么：MASB为公开注册表中经行为确认的恶意Skill。作者称剩余错误主要是假阴性：安全敏感行为可能与声明功能一致。
• 作者的解读：这反映静态审计的一般限制，看不到只在运行时出现的风险；如何用静态审计发现更多运行时风险，作者认为是后续值得研究的问题。基线仍在高召回与保守决策之间取舍。

紧凑LLM增强

• 测了什么：Figure 3比较五个骨干在三个基准上的直接zero-shot与SKILLLITE（横轴时延、纵轴F1）。作者称全部15个模型–基准设置的F1都提升，幅度9.2到73.6个百分点。Zero-shot呈保守偏差：精度高但常漏掉恶意Skill，MASB上尤其如此。
• 数字：Appendix C称MalSkillBench上DeepSeek-R1:8B的F1从59.2%升至80.5%，时延11.5秒。Table 10（MASB）中Gemma4 E4B的F1从0.071到0.807（时延9.2秒到19.4秒）；Qwen3.5 9B从0.074到0.714（27.1秒到65.5秒）；DeepSeek-R1 8B（Thinking）从0.108到0.717；DeepSeek-R1 8B（w/o Thinking）从0.169到0.719，但FPR从0.020升至0.244；Mixtral的zero-shot F1为0.000（Prec 0.000、Recall 0.000），SKILLLITE为0.618。作者称提升幅度随骨干能力变化，额外时延仍可实用。Table 8、Table 9的完整跨模型数字在正文被截断处之后，此处不转写未完整读到的格子。

类别召回

• MalSkillBench（Figure 4文字，每类126–280个恶意样本）：作者称SKILLLITE在多数类别召回较强，B6（Reverse Shell）0.993、B8（Resource Abuse）0.982；错误集中在较少类别，如B10（Role Hijack）0.497、B14（Goal Hijacking）0.706，B15为0.380。作者称若干高敏感基线在这些难类上召回更高，但全基准FPR高得多。
• SkillTrustBench（T01–T09，恶意样本96到2,450，多标签）：T06（Persistence）召回1.000，T07（Tool Hijacking）0.984。作者称多数基线跨类别更不一致，高召回往往伴随更高全基准FPR。
• MASB：Figure 4列出按攻击技术的召回（如RS一行SKILLLITE为1.000）。多标签且非互斥。末行在文本中被截断，不补全。

其他消融与分析

• Table 3（完整SkillTrustBench二分类）：Full F1 0.966；去掉Security Evidence Extraction后F1 0.485、Recall 0.326、FNR 0.674；去掉Intent Analysis后F1 0.451、Prec 0.996、Recall 0.292、FNR 0.708；去掉Evidence Synthesis后F1 0.743、Recall 0.612、FNR 0.388。
• 抽取：作者称没有包级抽取时，脚本、配置等产物中的敏感行为不再被显式暴露，召回下降最大。
• 意图：去掉后仍然很准但漏掉大多数恶意Skill，作者称模型缺少功能参照，呈保守决策。
• 合成：下降小于前两者；作者称剩下的发现能指出敏感模式，但缺少解释其如何出现在Skill中的实现上下文。
• 包特征分析：Appendix B称还从包特征做了分析，正文可见部分未给出单独数字表，此处不补。

作者指出的局限与后续方向

• 静态审计看不到运行时风险（第4.3节）：在MASB上，作者称剩余错误主要是假阴性，安全敏感行为可能与声明功能看起来一致；这反映静态审计的一般限制，无法观察只在运行时出现的风险。
• 用静态手段发现更多运行时风险（第4.3节）：作者称如何通过静态审计揭示更多运行时风险，仍是值得研究的问题。
• 最终性能仍受底层模型能力影响（第4.4节）：作者称虽然SKILLLITE能增强zero-shot能力有限的模型，最终表现仍受底层紧凑LLM能力影响。
• 结论中的方向（第5节）：作者认为有效安全审计不必靠放大模型能力；把安全证据如何暴露给模型重新组织，是构建实用、本地、轻量Agent Skill审计系统的一个方向。论文没有单独的Limitations小节。

实验覆盖范围

• 三个基准：MalSkillBench（3,944恶意+4,000良性）、SkillTrustBench二分类子集（2,863恶意+1,643良性，排除1,014个suspicious）、MASB（157个行为确认恶意+299个已验证良性）。
• 骨干与部署：主实验默认Gemma4:e4b；跨模型还包括Qwen3.5:9B、DeepSeek-R1:8B（thinking开与关）、Mixtral-8x7B，均本地Ollama、不微调。SkillSpector的LLM配置因Gemma4:e4b超时改用GPT-4.1-nano。
• 基线配置：五种扫描器，其中Cisco与SkillSpector各有静态和LLM辅助；LLM辅助在支持时与SKILLLITE同骨干。消融在完整SkillTrustBench二分类集上去掉证据抽取、意图分析、证据合成三项（Table 3）。
• 任务边界（第3.1节）：只做包内预执行二分类。纯运行时行为，以及对底层智能体基础设施、模型或执行环境的攻击，作者写明不在范围内。
• 论文未报告：重复次数、评审模型与人工的一致性（判定来自检测器输出映射，不是单独的LLM评审阈值）、主实验以外的查询次数。时延以每Skill平均端到端秒数报告，并在受控运行配置下测量（Appendix C）。

SKILLLITE是面向紧凑、可本地部署LLM的恶意Agent Skill预执行审计框架，作者单位为南洋理工大学。

• 问题：第三方Skill把指令、脚本、配置和辅助资源打包进智能体供应链。恶意行为稀疏、分散，又常与合法的安全敏感操作相似。规则扫描缺少功能上下文；现有LLM审计多依赖商用或大规模模型。紧凑模型直接审原始包时，既难看见隐含行为，也难同时完成定位、关联和解释。
• 方法：确定性分析器覆盖通用安全模式、代码分析、隐蔽载荷和智能体控制信号，只产出证据。Intent Analyst从SKILL.md得到声明目标与预期能力。证据被锚定到来源与上下文，并与功能规格、安全策略合成报告。Risk Adjudicator从功能必要性、良性反证和安全风险三方面裁决，对关键智能体风险要求直接反证，并输出可追溯理由。范围是部署前的BENIGN/MALICIOUS二分类。
• 主结果：默认Gemma4:e4b下，MalSkillBench上F1 0.905、FPR 0.051、每Skill 27.4秒（Table 1）；SkillTrustBench上F1 0.966、FNR 0.039、28.5秒；MASB上F1 0.807、FPR 0.048、FNR 0.263、19.4秒（Table 2）。作者称MASB上最接近的AI-Infra-Guard时延约为其4.9倍。相对直接zero-shot，15个模型–基准设置F1提升9.2到73.6个百分点。去掉意图分析后，SkillTrustBench上F1降至0.451（Table 3）。
• 作者的结论：直接用紧凑LLM审原始包仍然困难。把证据发现和锚定外置、让模型集中做意图条件下的风险裁决，可以同时提高检测并保持可本地部署的时延。作者认为这不必依赖放大模型能力。MASB上的剩余错误以假阴性为主，静态审计仍看不到只在运行时出现的风险。