ISM：通过语义匹配隐式操纵 LLM Agent 的技能选择

这篇论文试图解决大模型智能体在执行前技能选择阶段，如何在不包含显式指令的情况下隐式操纵技能选择结果的问题。

• 问题场景与重要性：大模型智能体在执行任务前需通过语义匹配，比较用户提示词与候选技能元数据来分派任务；一旦恶意技能被选中进入执行流，可能引发未授权操作或敏感信息泄露（作者称）。
• 现有方法的不足：现有针对技能选择的操纵主要依赖显式提示注入或指令级引导（如“始终选择该技能”），容易被平台审查、基于大模型的检测器或规则防御识别（作者称）。
• 核心观察与假设：选择器依据提示词与技能描述的语义匹配度做决策，即使提示词和技能描述在孤立状态下均显得良性，两者的语义关联仍可通过精心设计被操纵以偏向目标技能（作者称）。
• 提出的方法：论文提出了隐式语义匹配技能选择操纵方法（Implicit Skill-Selection Manipulation via Semantic Matching, ISM），通过协同改造目标技能元数据与可复用提示词实现隐式选择偏置。
• 威胁模型：
  • 攻击目标：在保持可复用提示词与目标元数据与任务上下文一致且无显式选择指令的前提下，提高攻击者选定的目标技能被选中的概率。
  • 攻击者能力：攻击者能够向第三方技能平台发布自身技能，向第三方提示词市场发布可复用提示词，从而控制目标技能描述与所发布提示词的内容。
  • 攻击者知识（Accessibility）：采用黑盒设置（black-box），攻击者无法访问模型权重、系统提示词、框架源码或选择器的具体实现过程。
  • 受害系统与先决条件：目标技能已与同领域竞争技能一同安装在智能体中，且用户在兼容任务中复用了攻击者发布的提示词；不假定选择后后端执行的恶意行为。

大模型智能体中的工具选择：

• 工具检索与排序增强：ToolLLM（Qin 等，2023）与 Easytool（Yuan 等，2024）等工作将工具选择建模为自然语言描述上的检索或排序，通过查询改写、精简文档和上下文感知过滤提升选择准确率与可扩展性（作者称）。
• 工具选择偏置研究：BiasBusters（Blankenstein 等，2025）系统研究了工具选择中的偏置现象，发现请求与工具元数据之间的语义对齐能够强烈影响模型偏好（作者称）。

工具选择操纵攻击：

• 显式与间接提示注入：ToolHijacker（Shi 等，2025）通过构造恶意工具文档重定向检索与选择；Attractive Metadata Attack（Mo 等，2025）与 ToolTweak（Sneh 等，2025）通过修改工具名称与描述增加被调用概率；这些工作主要依赖对抗性指令或干扰控制流的内容（作者称）。
• 隐蔽提示词修改：LLM Whisperer（Lin 等，2024）展示了在没有明显恶意措辞的情况下，难以察觉的提示词修改也能偏置大模型响应（作者称）。

大模型智能体防御：

• 结构隔离与检测防御：StruQ（Chen 等，2025）与 IsolateGPT（Wu 等，2024）采用结构化隔离分离指令与非可信数据；PIGuard（Li 等，2025）与 Llama Prompt Guard 2 等通过分类器拦截注入模式；AgentDojo（Debenedetti 等，2024）施加任务级约束（作者称）。论文指出这些防御主要针对可识别的指令覆盖或任务偏离，缺乏对相对候选偏好变化的防御能力。

• 基线方法与基准：对比基线包括无操纵的 Native、随机关键词插入（Random Keywords）、长度匹配的领域词替换（Domain Wording），以及显式引导基线 Explicit Steering；评测数据源自 MCP 技能注册表和开源提示词仓库（Awesome ChatGPT Prompts 等）。

• 本文定位：作者称，与以往单侧依赖元数据篡改或显式注入指令的研究不同，ISM 在提示词与技能描述两侧协同引入良性任务内容，在无显式选择指令的前提下偏置同领域技能选择。

作者提出隐式语义匹配技能选择操纵方法（Implicit Skill-Selection Manipulation via Semantic Matching, ISM），在不引入显式指令的前提下，通过协同改造目标技能元数据与可复用提示词，引导选择器偏向目标技能。

阶段一：任务相关线索构建（Task-Related Cue Construction）

• 语义匹配度量：选择器依据请求与技能描述的语义匹配度做决策。ISM 采用 all-MiniLM-L6-v2 模型将文本独立映射到嵌入空间，以余弦相似度度量语义匹配分数 S(x, y)：

S(x,y) = (E(x)^⊤ E(y))/(|E(x)|₂ |E(y)|₂) 该公式计算文本 x 与 y 的 MiniLM 嵌入向量余弦相似度，分值越高表示语义匹配越紧密。

• 双重过滤提取线索：为适应同一场景下不同表达，ISM 从同场景收集的提示词中提取线索。首先进行场景导向过滤，统计候选短语在跨请求中的出现频次；随后进行任务导向过滤，计算短语与原生目标技能描述 mt 的语义分数 S(c, mt)；最后按综合指标 R(c) 排序筛选出提示词侧共享线索：

R(c) = 1/2FRP(c) + 1/2S̃(c,m_t) 该公式综合了跨请求频次百分位 FRP(c) 与归一化语义相似度，兼顾场景覆盖度与目标任务相关性。同时，从目标技能描述中提取原生能力短语作为描述侧能力线索。

• 模板双向合并：使用固定句式模板整合线索。在技能描述侧追加组合能力句（如“该技能支持……”）；在提示词侧追加任务要求句（如“请总结……”），增强双方的任务级语义对应。

阶段二：定制技术钩子注入（Customized Technical-Hook Injection）

• 技术钩子选择：仅依赖任务线索可能同时匹配同领域竞争技能。作者观察到现有技能描述多集中于任务级功能而少有具体技术实现，因此选取目标技能真实支持、契合任务上下文但在竞争技能中罕见的技术表达（如引用跨度提取、附录关联）。
• 角色化句式注入：利用固定句式分别注入两侧。描述侧将技术钩子转化为能力声明（“技术优势包括……”），提示词侧转化为结果要求（“结果应包含……”），使选择器的类别预测分布更加集中并偏向目标技能。

阶段三：语义受限提示词自然化（Semantic-Constrained Naturalization）

• 单侧自然化动机：直接在提示词中追加技术术语会显得生硬可疑，而技能描述中包含专业技术细节属于正常元数据范畴且不易被现有防御判定为恶意；因此 ISM 仅对提示词侧进行自然化，保留描述侧的技术形态。
• 步骤一：确定语义关系：为防止自由重写丢失语义或产生幻觉，ISM 借助 WordNet、ConceptNet 和 FrameNet 选定 4 种语义关系构建“语义桥”：分类关系（taxonomic）、部分-整体关系（part-whole）、目标-功能关系（goal-function）及使用上下文关系（use-context），连接技术术语与用户层意图表达。
• 步骤二：受限生成：提示大模型在给定语义桥约束下将技术钩子重写为自然用户表达，保留原始任务，避免直接复用技术钩子且不引入显式选择指令。
• 步骤三：转换后检查：设定四项检验属性——原始任务是否保留、语义关系是否维系、直接技术措辞是否减少、是否读起来像自然请求。未通过任一检验则拒绝并重新生成。

实验设置

• 被测模型：测试了 8 个大语言模型作为技能选择器，包含 6 个开源模型（Llama-2-7B、Llama-3-8B、Llama-3.1-8B、Qwen2.5-7B、Qwen3-8B、Qwen3.5-9B）与 2 个商业模型（GPT-4o、GPT-5.1）。
• 数据集与候选池：从 MCP Registry API、Awesome MCP Servers、Model Context Protocol servers repository 聚合 62,055 个技能并保留 4 个领域的 56 个技能，选取 8 个目标技能，每个目标与 6 个同领域技能构成 7 候选池；提示词收集自 Awesome ChatGPT Prompts、Fabric patterns、Prompt Engineering Guide、OpenAI Cookbook 四大公开仓库，构建 480 个提示词案例（涵盖代码开发 Code、数据分析 Data、文档处理 Document、工作流辅助 Workflow 四大领域）。
• 评测规模与重复次数：每个案例实例化为 4 种条件共 1,920 个提示材料实例，在 8 个模型上各评测 3 次，共计 46,080 次选择实例。
• 对比基线与条件：包括无操纵的 Native、任务相关线索 Task-Related Cues、技术钩子 Technical Hooks、完整 ISM；文本控制基线包含随机关键词 Random Keywords（RK）、领域词替换 Domain Wording（DW），以及显式提示注入参考 Explicit Steering。
• 核心指标：有效测试中目标技能被选中的比例目标选择率（TSR）、相对于 Native 的绝对改变量 ∆TSR；人工与大模型审查的通过率及拦截率；规则防御的拦截率、良性误报率（Native FPR）与防御后目标选择率（Post-Inspection TSR）。
• 审查与防御配置：人工审查由 7 位技术经验评审员在条件隐藏下评估 70 组样本；大模型审查采用 5 个模型作为检测器；规则防御选取 PPL-W、Llama Prompt Guard 2 与 PIGuard 作为前置拦截网关。

主结果

Swipe horizontally to read the table

注：据 Table 1。格内数值为 Native TSR / ISM TSR。

• 总体提升与模型差异：作者称，宏观层面上 ISM 在全部 8 个选择器上均呈现正向提升，宏观 TSR 从 Native 的 15.2% 增加至 63.5%（绝对增益 48.3 个百分点），各模型增益介于 11.5 至 69.6 个百分点之间（据 Table 1 及正文第 9 页）。
• 细粒度目标表现与负面案例：在 64 个模型-目标组合中，62 个出现正向改善；仅有的两个负面案例出现在 Llama-2-7B 的 Code 领域，其 TSR 从 44.3% 降至 36.7%（绝对下降 7.6 个百分点）（据 Table 1 及正文第 9 页）。
• 方法对比与显式引导差距：在匹配对比中，ISM 达到 73.5% 的 TSR，高于随机关键词（24.6%）和领域词替换（24.2%），与强行指定目标的 Explicit Steering（83.3%）仅相差 9.8 个百分点（据 Figure 7(a)）。

审查与可察觉性评测

• 评测设计：在条件隐藏设置下对 ISM 进行人工评审与大模型审查，测试其是否会被判定为操纵行为（据 Figure 8 与 Table 5）。
• 评测结果：7 位技术评审员的审查中，ISM 的拦截率仅为 2.9%（Native 为 0.0%，Explicit Steering 为 91.4%），批准率为 68.6%（Native 为 88.6%，Explicit Steering 为 1.4%）；5 个大模型审查器对 ISM 的平均通过率为 82.9%，比显式引导高出 45.5 个百分点（据 Figure 8(b) 与 Table 5）。
• 作者解读：作者称，尽管人工评审对 ISM 打出了略低于 Native 的自然度（4.09 对 4.70）与略高的怀疑度（1.94 对 1.17），但这些感知差异很少转化为实际拦截，作者认为 ISM 较好地维持了隐蔽性。

规则防御评测与安全效用权衡

• 评测设计：评估三类前置提示注入防御网关（PPL-W、Llama Prompt Guard 2、PIGuard）对 ISM 的拦截覆盖及良性误报率（据 Figure 9）。
• 评测结果：Explicit Steering 被三类防御 100.0% 拦截，而 PPL-W 对 ISM 拦截率为 0.0%，Prompt Guard 2 和 PIGuard 拦截率仅分别为 25.4% 与 23.1%；防御后 ISM 的 TSR 从未防御的 62.2% 分别降至 62.2%、47.8% 和 46.9%；同时 Prompt Guard 2 和 PIGuard 在良性 Native 输入上的误报率（FPR）分别达到 26.5% 和 37.5%（据 Figure 9）。
• 作者解读：作者称，现有基于规则的防御无法充分覆盖隐式语义操纵，部分削弱 ISM 的防御同时也对良性输入产生了较高误判，未能同时达成有效防御与低误报。

其他消融与分析

• 累积组件贡献：Native 为 15.2%，加入 Task-Related Cues 升至 47.8%，加入 Technical Hooks 升至 79.2%，经 Prompt Naturalization 后为 63.5%（Figure 6）。
• 用户自拟提示词泛化：固定原生提示词下，仅向描述添加线索使宏观 TSR 从 15.4% 升至 27.4%（Figure 7(b)）。
• 语义关系桥类型：混合 ISM 桥 TSR 为 76.7%（拦截率 10.0%），目标-功能桥为 73.3%，分类桥为 67.8%，部分-整体桥为 63.3%，使用上下文桥为 60.0%，泛化重写为 54.4%（Table 2）。
• 提示词单侧自然化感知：直接暴露技术钩子提示词被判可疑率为 46.7%、拦截率为 20.0%；自然化后可疑率降至 10.0%、拦截率降至 3.3%（Table 3）。
• 目标级别平均增益分布：8 个目标技能的平均 TSR 提升幅度介于 22.6 至 70.8 个百分点之间，其中 Workflow-2 增益最大（+70.8 pp），Code-1 最小（+22.6 pp）（Table 4）。

作者指出的局限与后续方向

• 结构化改写的防御局限：作者在第 5 节指出，底层文档中伪造的能力声明可能通过结构化重写，而激进的重写可能抹除正当功能差异并降低良性选择质量，因此结构化改写仅是前置规范化层而非完整防御（Section 5）。
• 选择完整性评估尚属开放问题：作者在第 6.2 节指出，选择完整性目前仅作为概念性目标而非形式化度量，如何区分合理的语言敏感性与对抗性操纵仍是一个未解决的开放问题（Section 6.2）。
• 防御设计方向未经实证验证：作者在第 6.3 节指出，文中讨论的提示词来源感知推荐、基于边距或稳定性的审计、语义优势正则化以及高影响技能的用户显式确认等机制，目前仍停留在设计构想阶段，未在本文中得到实证验证（Section 6.3）。
• 未评估后端执行后的恶意行为：作者在第 2.3 节与第 6.3 节明确指出，论文的论断严格局限于预执行（pre-execution）选择阶段，提高目标技能被选中的概率具有安全相关性，但并不等同于直接证明下游执行会造成危害，后续评估应同时测量抗操纵性与良性选择效用（Section 2.3、Section 6.3）。

实验覆盖范围

• 被测模型范围：实验覆盖 8 个大语言模型作为技能选择器，包含 6 个开源模型（Llama-2-7B、Llama-3-8B、Llama-3.1-8B、Qwen2.5-7B、Qwen3-8B、Qwen3.5-9B）与 2 个商业模型（GPT-4o、GPT-5.1）（Section 4.1）。
• 任务领域与技能规模：评测覆盖代码开发、数据分析、文档处理和工作流辅助 4 个领域，共选取 8 个目标技能，每个目标技能与 6 个同领域技能构成 7 候选池（Section 4.1）。
• 提示词数据量与重复次数：从 4 个公开仓库构建 480 个提示词案例，实例化为 1,920 个提示材料实例，在 8 个模型上各评测 3 次，共计 46,080 次选择试验（Section 4.1）。
• 防御评测覆盖：规则防御测试了 PPL-W、Llama Prompt Guard 2 和 PIGuard 三种作为前置拦截网关的方法；大模型审查测试了 5 个审查模型；人工评审由 7 位技术经验评审员评估（Section 4.1、Section 4.3）。
• 未报告的信息：论文未报告攻击者在实际提示词市场中部署提示词的真实被采纳率与真实用户交互数据（Section 2.3）。

• 研究定位与核心问题：论文针对大模型智能体在执行前依据语义匹配分配技能的机制，分析了无需显式指令即可偏置技能选择的隐式攻击面，指出现有显式提示注入易被审查识别的问题。
• 核心方法设计：提出了双端协同操纵方法 ISM，通过跨请求频次与任务相关性提取任务线索以扩大覆盖面，注入罕见技术钩子拉开与同领域技能的区分度，并利用四大语义关系桥进行受限改写，使提示词自然化并规避人工与检测器审查。
• 主要实验结果：
  1. 在 8 个选择器模型与 4 个任务领域中，ISM 将宏观平均目标选择率从 Native 的 15.2% 提升至 63.5%（绝对提升 48.3 个百分点，Table 1）。
  2. 在匹配对比中，ISM 达到 73.5% 的选择率，仅比显式引导 Explicit Steering（83.3%）低 9.8 个百分点（Figure 7(a)）。
  3. 人工评审对 ISM 的拦截率仅为 2.9%（显式引导为 91.4%），5 个大模型审查器的平均通过率达 82.9%（Figure 8, Table 5）。
  4. 现有规则防御中，Prompt Guard 2 与 PIGuard 防御后 ISM 的目标选择率仍分别残留 47.8% 和 46.9%，且伴随 26.5% 和 37.5% 的良性误报率（Figure 9）。
• 结论与启示：作者认为，技能选择环节决定了哪项功能进入智能体的下游执行流，应将其视作关键的安全边界；单纯依赖文本级检测或显式指令识别无法有效防御基于语义匹配的隐式操纵，未来的智能体安全架构需从选择完整性出发设计联合防御机制。