SoK：Agent 技能——超越 LLM Agent 中的工具调用

智能体每次都要从零重推执行策略，程序性经验随上下文窗口结束而消失。

• 场景：作者称LLM智能体已能浏览网页、编写和调试软件、顺序编排工具并组成多智能体团队，但新任务仍要重新推导策略。成功过的流程不会留到下一次。
• 现有不足：作者称已有综述分别覆盖智能体整体、工具使用或多智能体协调，没有以技能为中心追溯从获取到治理的全生命周期。
• 核心观察：技能应同时可执行、可复用、可治理，并自带适用条件、终止准则和可调用接口。它不是原子工具、一次性计划或情景记忆。
• 威胁模型：§7把技能层当作新的攻击面，不是作者自行实施的一次攻击实验。
  • 目标：被攻陷技能在元数据上可显得无害，执行时把智能体导向恶意结果。
  • 能力：投毒检索元数据、在策略中放入未授权指令或代码、经共享库跨租户访问、借环境变化改变行为、用不可信观察误用特权技能、操纵适用条件输入。
  • 受害对象：使用技能库的LLM智能体，以及市场分发的技能包。
  • 六类名称照抄：poisoned skill retrieval、malicious skill payloads、cross-tenant leakage、skill drift exploitation、confused deputy、applicability condition poisoning。
• 本文做法：作者给出四元组定义、七阶段生命周期、七种设计模式和表示×范围分类，并综述安全治理与确定性评测。

相关工作被作者分成程序性记忆传统、智能体与工具综述、相邻抽象，以及他们转述的评测对照。

程序性记忆与经典规划

• ACT-R与Soar：Anderson（2004）区分陈述性记忆和程序性产生式；Laird（2012）的Soar形式化认知架构中的程序性记忆。作者用它们说明技能编码的是如何行动，并借用Chase与Simon（1973）的组块化来类比压缩多步流程。
• 选项框架：Sutton等（1999）的选项是(I, π, β)。作者称本文的适用条件对应启动集、终止条件对应β，但强化学习选项由元策略隐式选择，不解决运行时显式调用。
• 规划形式化：HTN（Nau等，2003）、BDI（Rao与Georgeff，1995）和STRIPS/PDDL（Fikes与Nilsson，1971）已有前提、效果或情境条件。作者称主要差别在表示：经典形式化假定符号状态，LLM技能作用在自然语言观察上。

智能体综述、工具与模板

• 综述分组：作者称一批LLM智能体综述、工具使用综述和多智能体协调综述都未采用技能中心视角来追溯全生命周期。正文未在此处逐篇展开这些综述的方法。
• Toolformer：Schick等（2023）研究LLM自主学习调用工具。作者称这类行为通常仍停在单次调用；技能可以调用工具，但加上适用逻辑、多步顺序和显式终止。
• 模板与记忆：White等（2023）的提示模板是注入上下文的静态文本。情景和语义记忆存储观察与事实。作者称模板缺少适用条件、终止逻辑和可调用接口；记忆存的是发生过什么，不是如何行动。

供给链与提示注入类比

• 开源供给链：Ladisa等（2023）系统化开源软件供给链攻击。作者用它类比代码技能中的恶意载荷，没有把该文的结论改写成技能市场已经具备同样的防护。
• 间接提示注入：Greshake等（2023）研究不可信数据挟持已集成LLM的应用。作者用它说明自然语言技能所依赖的指令遵循边界可被渗透。

基线与基准：论文自身未跑对照实验。它转述SkillsBench的三种条件，即无技能、策划技能和自生成技能；Table 7映射SkillsBench、WebArena、Mind2Web、OSWorld、SWE-bench、GAIA、AgentBench、AndroidWorld。

作者称这些工作都未以技能为中心串起获取、执行、评测与治理，本文用生命周期和两套分类补上这一视角。

作者不提出新的攻击器，而是用四元组定义技能，再按生命周期、设计模式和表示×范围归档文献。

形式化

技能定义为 S = (C, π, T, R)。C判断观察和目标下是否适用，π把观察与历史映射到原子动作或技能调用，T决定相对当前目标是否结束，R给出名称、参数和返回类型。

• 最小性：作者认为去掉C不能自选，去掉T则调用方不知道何时恢复，去掉R不能程序化调用内部知识，去掉π只剩不可执行元数据。
• 约定：实现常先算软适用分数再取阈值。编排器架构里C和T可以外置，四元组描述逻辑接口。π可以是提示模板、代码、学习控制器或混合。
• 图示：Fig.1图注把观察O画成进入适用门C的输入，π产生动作A，T决定继续或停止，R把模块包成可调用边界；目标G可编码在O中或单独传入。

文献筛选与分类

• 检索与纳入：六个数据库，关键词加前后向引文。LLM智能体文献窗口为2020年1月至2025年2月，例外纳入2026年2月的SkillsBench。约180篇候选中保留65篇，24个系统进入映射表。
• 排除：只做单次工具调用、无持久复用的提示工程、没有技能抽象的多智能体论文，以及没有显式技能表示的指令微调。
• 分类过程：记录表示、获取方式、执行模型、存储和治理特征，经三轮修订，直到每个深入分析的系统都能归类。模式故意不互斥。作者称表示与范围的正交性，是因为结果矩阵的多数格子有例子。

生命周期

Fig.2图注：实线是主前进路径，虚线是精炼和退役的反馈。七个阶段是发现、练习/精炼、蒸馏、存储、检索/组合、执行、评测/更新。

• 前半：发现重复模式、失败模式或瓶颈；练习靠试错、反思和外部反馈；蒸馏把轨迹收成四元组，并附元数据与使用约束。作者称练习提高稳定性，蒸馏改变表示。
• 后半：存储需要索引、版本和元数据；组合时检查接口、上下文和依赖；执行受沙箱、权限和资源约束；之后监测漂移，再修订、替换或退役。
• 回路：评测可回到练习，检索失败回到存储，执行失败回到发现。作者把无任务定义、无显式成功信号的无监督发现列为开放问题，未在方法中给出已完成算法。

七种设计模式

Fig.3图注：模式沿自主谱排列，从人类控制的元数据披露到自主元技能；市场分发横跨全谱，虚线表示常被组合的模式。

• P1–P3：P1先注册短描述和触发信息，选中才加载全文。作者称这样可登记大量技能而只消耗被激活技能的上下文，风险是元数据错误会选错或漏选。P2把策略写成可执行程序，作者称相同输入得到相同输出，因而可测试，但API、界面或环境变化时变脆。P3用硬门控固定步骤顺序，作者称便于审计；若规则可被提示注入修改，强制即失效。作者注明P3作用于控制器层，本身不一定是可复用技能制品。
• P4–P6：P4在任务后决定是否蒸馏新技能或修订旧技能，作者把质量控制当作中心张力。P5把自然语言说明和可执行片段放在同一包中，冲突时要决定听从哪一边。P6用于创建、修改或组合其他技能。作者把Self-Instruct（2023）和CREATOR（2023）视为训练时前驱，严格的P6留给运行时可调用的生成器，并称每步都需要质量门，以免错误放大。
• P7：技能是带依赖、兼容性和治理元数据的版本化包。文中规模例子包括ToolLLM的超过16,000个真实API，以及ClawHub数周内超过10,700个已发布技能、项目星标超过200,000。作者称社区分发带来供应链风险。Table 4比较上下文成本、确定性、可组合性和治理面；作者称延迟与准确率的量化权衡仍是开放经验问题。

表示、获取、编排与治理框架

• 两轴：五种表示是自然语言、代码、工具宏、参数化策略和混合。六种范围是单工具、多工具编排、网页、桌面、软件工程、机器人/物理。作者称编码高层意图的网页技能，比绑定具体界面元素的技能更能应对界面变化。
• 获取与路由：五档是人工编写、示范蒸馏、自我练习、课程与反馈、元技能。路由可以是嵌入相似度取top-k，或由智能体根据元数据推理，也可两阶段结合。多个适用条件同时为真时，作者称现有系统多用排序启发式，缺少显式冲突消解策略。失败恢复可做成技能，其信任不应低于被恢复的技能。
• 信任与评测：作者提出四档信任。Tier-1只见名称和描述；Tier-2加载自然语言指令，作者称只有推理与动作在架构上分离时才有隔离；Tier-3需批准或沙箱；Tier-4在预置权限和监测下免逐动作审批。层级应由运行时强制。评测维度是正确性、稳健性、效率、泛化、安全。作者主张用环境状态对照预期结果的确定性验证器。

定量结果主要是作者转述的SkillsBench与ClawHavoc材料，不是作者新跑的模型实验。

实验设置

• 文献语料：六个数据库，2020年1月至2025年2月，例外纳入2026年2月的SkillsBench。约180篇候选，保留65篇，24个系统作深入映射。语料含八个基准环境、七种设计模式、五种表示。
• SkillsBench：86个任务、11个领域、7种智能体-模型配置、7,308条轨迹。每任务三种条件：无技能、策划技能、自生成技能。判定方式是确定性验证器检查环境状态。论文未列出全部7个配置的名称，也未写LLM评审模型或人工一致性。
• 点名模型：正文只给出Claude Haiku 4.5、Claude Opus 4.5、Claude Opus 4.6、Codex + GPT-5.2的部分数字。未报告的模型×条件不填。
• 安全案例：ClawHavoc针对OpenClaw的ClawHub。数字来自论文转述的安全研究和审计，不是作者自己的攻击实验。
• 指标：通过率、百分点变化、恶意技能计数和缺陷比例。论文未报告这些差值的统计显著性检验。
• 模式共现：深入分析系统的模式数中位数为2，范围1–4（§5.9）。

主结果

表格较宽，可左右滑动

报告单位	条件	数值	出处
全部7种配置平均	无技能通过率	24.3%	§8.4
全部7种配置平均	策划技能通过率	40.6%	§8.4
全部7种配置平均	策划技能相对无技能	+16.2个百分点	§8.4
全部7种配置平均	自生成相对无技能	−1.3个百分点	§8.4
Claude Haiku 4.5	配备技能	27.7%	§8.4
Claude Opus 4.5	无技能	22.0%	§8.4
Claude Opus 4.6	自生成技能	+1.4个百分点	§8.4
Codex + GPT-5.2	自生成技能	−5.6个百分点	§8.4

• 作者称策划技能有可量化提升，效应随领域变化很大；并称这与预训练程序性数据较少的领域更受益这一假设一致。作者同时写出，领域差异也可能来自任务构造、验证器严格程度和技能编写质量。
• 作者称自生成技能平均没有收益，五种被测配置中仅一种有提升。文中点名的正变化配置是Claude Opus 4.6，负变化配置是Codex + GPT-5.2。论文未说明这五种是否就是全部七种配置。
• 作者用表中Haiku与Opus这一对数字称，较小模型配策划技能可以达到或超过未配技能的较大模型。作者把这类解读称为基于基准数据的解释性假设，不是因果结论。

领域差异与技能形态

• 测了什么：11个领域里，正文给出五个领域的策划技能百分点变化，以及模块数和篇幅的对比。
• 结果：医疗+51.9、制造+41.9、网络安全+23.2、软件工程+4.5、数学+6.0个百分点（§8.4；§5.10.2重复了其中医疗、制造、软件工程和数学）。2–3个模块的聚焦技能为+18.6个百分点，4个及以上技能为+5.9个百分点；“详细”技能+18.8个百分点，“全面”文档−2.9个百分点。
• 作者解读：作者称这与P1只加载聚焦流程、而不是灌入完整参考材料的做法一致。其余六个领域的百分点，论文未在正文给出。

ClawHavoc供应链案例

• 测了什么：OpenClaw技能注册表ClawHub上的恶意技能活动。作者把它当作§7.1各类威胁的经验锚定。
• 结果：§7.6写1,184个恶意技能，摘要写nearly 1,200。Snyk审计称已发布技能中36.8%至少含一项安全缺陷；另一项Snyk数字是3,984个技能中283个（7.1%）在上下文窗口和输出日志里明文暴露敏感凭据。VirusTotal分析超过3,016个技能，作者称其中数百个呈恶意特征。12个发布者账户中，单一账户对应677个包，占全部恶意列表的57%。下载量最高的技能含9个漏洞，其中2个为critical，排名经由4,000次虚假下载抬高。作者称91%的恶意技能包含提示注入载荷，超过135,000个暴露的OpenClaw实例分布在82个国家。参考文献注释另写所引博客更新报告824个恶意技能，与正文1,184不同。
• 作者解读：作者称该事件同时落到投毒检索、恶意载荷、confused deputy和适用条件投毒。P7是分发通道，P2是主要执行向量，因为技能以智能体的完整系统权限运行代码。作者认为P3的硬门控使它较不易只靠提示注入绕过，P4若吸收恶意社区技能则毒化会进入生成环。作者称峰值恶意技能率比npm等成熟注册表的时点恶意软件率高出数量级，论文未给出后者数字。

负增量与扫描报告

• 负增量：84个任务中有16个在使用技能后下降，最差为−39.3个百分点。作者称最差情况出现在基座模型已经表现好、技能却引入冲突指导时，并据此强调适用条件只应在程序性知识有益时激活。任务总数另写为86，论文未解释84与86的差额。
• 扫描：论文转述Agent Skills Guard作者的报告：39个测试用例，含4个被VirusTotal标为Benign的对抗样本，该集合中合法技能无假阳性。论文未单列合法样本数，也未把该结果推广到全部技能。声誉分的文中示例是高于80视为安全、低于30视为恶意。
• 共现：最常见组合是P1+P7，出现在4个系统：HuggingGPT、MetaGPT、AutoGen、ToolLLM。Claude Code与OpenClaw各用4种模式。五个系统只用一种，十二个正好两种。

其他消融与分析

• 论文未报告技能检索的查询次数、token开销或端到端延迟；作者称该权衡仍是开放问题（§5.9）。
• 作者称Table 5中的系统多集中在代码表示、自演化库、游戏或软件工程范围（§5.10.3、§9.1）。
• Table 7：作者称没有单一基准覆盖全部技能维度。正文未逐格给出各基准的得分，本文不转抄可能错位的格子。
• 四档信任没有对应的拦截率或误拒率；作者建议不可信技能默认Tier-1（§7.2）。
• Voyager的自验证成功率和AgentBench跨环境结果被作者称为部分旁证，但并不直接测量策划技能与自生成技能的对照（§8.4）。

作者把系统化工作的语料、分类验证和基准外推写成局限，并把验证与治理写成开放问题。

作者指出的局限与后续方向

• 语料时效：多数被分析系统发表于2023–2024年。作者认为LLM技能文献可能仍不稳定，分类或需修订（§9.2）。
• 检索覆盖：作者称仍可能漏掉公开文档有限的工业系统、非英文文献和同期预印本（§9.2）。
• 分类验证：七种模式未经外部专家调查或形式概念分析；非互斥使类别分析变复杂，并可能限制对新组合方式的判别力（§9.2）。
• 生产与安全文献：作者称语料侧重有发表评测的研究系统，LangChain/LangGraph、DSPy、AgentHarm、InjectAgent因同行评审文档有限而在分析中代表性不足（§9.2）。
• 基准外推：作者称评测分析依赖已发表基准，可能反映不了更长时程、更杂环境和对抗条件（§9.2）。
• 后续方向：§10列出可验证的自主技能生成、无监督技能发现、跨表示的形式化验证、环境漂移下的稳健性，以及市场的治理经济与责任归属。§11再次把发现、验证和治理列为收束问题。

实验覆盖范围

• 文献程序见§3：六个数据库，2020年1月至2025年2月，例外纳入SkillsBench；约180篇筛到65篇，24个系统进入Table 2和Table 5。
• 分类产物为七种设计模式、五种表示、六种范围；模式共现统计见§5.9，中位数为2，范围1–4。
• 安全分析覆盖§7.1的六类威胁、四档信任和ClawHavoc案例，正文数字包括1,184个恶意技能、36.8%的缺陷比例，以及3,984个技能中283个（7.1%）的明文凭据暴露。
• 技能效用数字来自转述的SkillsBench：86个任务、11个领域、7种智能体-模型配置、7,308条轨迹、三种条件；§8.4写这些定量发现主要来自这一份未经同行评审的基准。
• 论文未报告作者自行运行实验的重复次数、查询预算和评审与人工的一致性；7种配置的名称也未在正文逐一列出。

这是一篇LLM智能体技能层的知识系统化，不是作者新做的攻击或防御实验。

• 问题：长程工作流需要可复用的程序性模块。作者认为工具、一次性计划和情景记忆都不同时具备适用条件、终止准则和可调用接口。
• 框架：技能写成四元组。文献按发现到更新的七阶段、七种封装与执行模式，以及五种表示和六种环境范围归档。安全侧整理六类威胁和四档信任，评测侧整理正确性、稳健性、效率、泛化、安全。
• 效用：作者转述SkillsBench。全部7种配置上，策划技能把平均通过率从24.3%升至40.6%，自生成技能平均变化为−1.3个百分点。医疗领域策划技能为+51.9个百分点，软件工程为+4.5个百分点。
• 对照与例外：Claude Haiku 4.5配技能为27.7%，Claude Opus 4.5无技能为22.0%。2–3个模块为+18.6个百分点，全面文档为−2.9个百分点。84个任务中16个下降，最差−39.3个百分点。作者称这些解读不是因果结论。
• 供应链：§7.6记录ClawHub上1,184个恶意技能。Snyk称已发布技能中36.8%至少有一项安全缺陷，另有7.1%明文暴露凭据。作者称技能生态增长时治理会落后。
• 结论：作者认为应把技能是否存在和技能质量分开；策划技能与自生成技能不能混为一谈。发现、验证和治理仍是开放问题。