论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护

核心问题是如何度量并降低LLM对对抗性输入序列变化的敏感，变化包括prompt injection、trojan和智能体工具劫持。

• 场景：作者认为模型进入生产系统后入口增多。judge被改裁决会扭曲比较和实验可重复性；经MCP接入工具后，文本注入可变成代码执行、改文件或网络请求。
• 不足：作者称视觉对抗框架难直接用于离散、自回归的LLM，现有度量未同时处理这两点。judge的针对性攻击分析不完整；触发器注入与检测的定量不对称此前仍开放。作者称据其所知，此前没有分析MCP架构风险并给出工具调用密码学证明的工作。
• 假设：作者认为这些攻击共享一个原因，即学到的映射对离散token空间中的小输入变化敏感。
• 提出：形式度量Rstab(f)与Rclass(h)、黑盒攻击ASA、异构委员会与多层过滤，以及MCPBench、AttestMCP和Commit Boundary。
• 威胁模型：
  • 目标：改变judge裁决、绕过过滤、激活或重构trojan，或实施prompt injection to tool hijacking。
  • 知识：论文区分black-box、gray-box、white-box。ASA只使用查询与响应；Pythia-1.4B的木马实验为full white-box。
  • 能力：攻击把输入映成另一个输入。约束包括查询预算、算力和时间。ASA实验预算为每次攻击1000次查询。
  • 受害系统：LLM-as-a-Judge、带多层过滤的LLM，以及经MCP调用外部工具的智能体。

从视觉稳健性到文本攻击

• Goodfellow et al.与Madry et al.：在计算机视觉中建立对抗稳健性分析。作者称该框架难直接迁到LLM，因为token空间离散且推理自回归。
• Zou et al.的GCG、Wallace et al.、Perez et al.：GCG生成通用对抗后缀；通用触发器可控制生成；Perez等系统整理prompt injection。
• Carlini et al.：从训练后的模型中抽出训练数据片段。作者称形式稳健性度量仍不发达，未同时计入离散性与自回归生成。

judge与木马

• Zheng et al.：提出用LLM自动评价其他模型的回答。作者称这一架构推广很快，但对针对性对抗攻击的稳健性分析仍不完整。
• TDC2023与TrojAI：研究trojan检测。作者称触发器注入与检测之间的定量不对称，在本工作之前仍是开放问题。

智能体与间接注入

• Greshake et al.：描述集成LLM应用中的间接prompt injection，外部内容可接管智能体。作者称据其所知，此前没有工作分析MCP的架构风险，或提出对工具调用做密码学证明的防御。

基线与基准

• 基线方法：judge攻击比较BI、CWB、CM与ASA；木马检测比较随机前缀、PEZ、GBDA、UAT和GCG。防御比较Perplexity Check、Instruction Filtering、Content Moderation、组合过滤和3/5/7模型委员会；MCP与非MCP工具集成比较。
• 基准/数据集：MT-Bench、Kaggle“LLMs: You Can’t Please Them All”、TDC2023、SaTML CTF 2024，以及847个场景的MCPBench。

作者把本文定位为补上三类空缺：计及离散性与自回归性的形式度量、LLM-as-a-Judge脆弱性的系统评估，以及针对外部工具协议注入的智能体防御算法。

作者用Rstab(f)刻画小扰动下生成分布的偏离，用固定攻击族上的ASR做经验估计，再用异构委员会、多层过滤和MCPSec限制攻击可达的动作。

形式度量

• 输入是有限词表上的token序列。生成任务用分布f；离散裁决用确定性算子h=Dec∘f。邻域Bε(x)可由Hamming、Levenshtein或语义距离定义。语义距离默认用all-mpnet-base-v2的句向量，除非另有说明。
• 生成度量沿一条参考轨迹做teacher forcing，逐步比较下一token分布，再对步数平均。参考轨迹默认是原提示的贪心解码。实验默认用Jensen–Shannon散度；以2为底时Cmax=1。作者把它写成R_stab(f)=𝔼[1−sup D_T(x,x′)/C_max]，即归一化散度的期望上确界越小，度量越高。该值依赖参考轨迹和比较协议。
• 局部攻击在干净输入不产生不良输出、攻击留在邻域内、不良输出必改变裁决时，作者称证明V(h)≤ 1−R_class(h)。prompt injection和jailbreak不在该邻域内，作者改用校准经验模型，并称它不是普遍严格上界。参数在验证攻击上拟合。
• 对固定攻击族，作者称ASR是脆弱性V(h)的一致估计；其总体极限1减V(h)在所述假设下是Rclass(h)的上界。专有模型拿不到逐步分布时，实验用1减ASR作代理。

ASA与成功判定

• 对judge，作者把攻击分成instructive与content：前者注入直接命令，后者靠内容和上下文移动裁决。BI属于前者，CWB与CM属于后者。正文未给出可复述的注入原句。
• ASA是black-box进化搜索。实验取种群N=50、代数G=20，预算N·G=1000次目标模型查询；适应度权重α=0.8、β=0.2。变异包括同义替换、保语义改写和插入干扰片段，并保持语法，以通过语言过滤。
• 作者称在贪心解码或缓存适应度、且选择保留上一代最优时，种群最优适应度单调不降，但不保证全局最优。
• judge实验的成功判定是分数变化至少2分，或比较裁决改变。解码固定为greedy、temperature=0。

委员会与多层过滤

• 委员会对奇数个模型的解析裁决做多数投票，并计算同意比例；低于阈值则标记人工复核。论文未给出该阈值的数值，也未列出委员会成员。
• Condorcet jury theorem针对的是独立且个体准确率r>0.5时的多数准确率。作者称它不自动推出Rclass上升。若用1减ASA下的ASR估计r，Gemma-3-4B不满足该条件，作者把收益归于异构组成降低错误相关。
• 多层防御分输入、模型、输出三层，可提前拒绝。SaTML配置是系统指令、Python filter和LLM filter。作者把绕过分成面向代码、ASCII编码、拆词和上下文误导四类：前三类对应输入规范化，第四类对应上下文隔离的系统指令。

木马协议与MCPSec

• TDC2023给可疑模型和目标恶意串，任务是重构触发短语。Recall是预测触发与真触发的BLEU式匹配；REASR是生成输出与目标串的BLEU。作者称二者是竞赛协议下的代理指标，不是二元检测召回。
• MCP的三处架构问题是：能力声明无第三方证明、sampling不认证消息来源、多服务器之间隐式传递信任。
• AttestMCP在会话开始、不可信数据进入前固定权限表，并用会话密钥的HMAC校验RPC包。作者称HMAC不能区分用户意图调用和注入后仍使用合法客户端发出的调用；越权边界靠权限表。允许工具配允许参数的滥用仍可通过。|args|不超过4096字节时，作者报告开销低于0.1 ms/次。
• Commit Boundary在带资源限制的容器中运行智能体生成的代码，经静态分析和输出校验后再提交；高风险可要求人工批准。MCPSec还包含能力证书、来源标记、跨服务器隔离和重放保护。MCPBench有847个场景。

实验设置

• 模型：Table 4.1为Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct、GPT-4、Claude-3-Opus。多层防御实验写到GPT-3.5与Llama 2。木马为Pythia-1.4B。Rstab近似计算用GPT-4o-mini。MCPBench为Claude-3.5-Sonnet、GPT-4o、Llama-3.1-70B。
• 数据：MT-Bench与Kaggle“LLMs: You Can’t Please Them All”，后者含ppe_human_preference、search_arena_v1_7k、mt_bench和code_review；另有SaTML CTF 2024、TDC2023和MCPBench的847个场景。除847外，所附正文未给出各子集条数。
• 攻击：BI、CWB、CM、ASA。木马侧为随机前缀、PEZ、GBDA、UAT、GCG。生成攻击还包括作者提到的CUA、JMA等，主表数字对应前四种。
• 防御：Perplexity Check、Instruction Filtering、Content Moderation、三者组合、3/5/7模型委员会；SaTML三层防御；MCPSec相对无防护MCP配置，以及MCP相对非MCP集成。
• 指标与判定：ASR、TSR、Recall、REASR、RUT，以及小样本上的Rstab、Rclass。judge成功为分数变化至少2分或比较裁决改变。解码为greedy、temperature=0。
• 样本与检验：每模型/攻击/任务n=50，四任务聚合n=200。区间为1000次bootstrap。作者报告GPT-4上BI与ASA的差为13.3个百分点，p<0.01。近0.5时，聚合样本对约14个百分点以上的差异，作者给出功效0.80。

主结果

据Table 4.1，ASR点估计（%），四任务聚合n=200。95%区间见该表，未列入。

| 模型 | BI | CWB | CM | ASA | | Gemma-3-27B-Instruct | 57.5 | 48.7 | 67.7 | 72.3 | | Gemma-3-4B-Instruct | 66.7 | 55.5 | 67.4 | 73.8 | | Llama-3.2-3B-Instruct | 60.1 | 47.5 | 47.8 | 58.2 | | GPT-4 | 32.4 | 28.6 | 41.2 | 45.7 | | Claude-3-Opus | 29.8 | 25.3 | 38.5 | 42.9 |

• 作者称ASA在五模型中的四模型上最高。例外是Llama-3.2-3B-Instruct：BI为60.1%，ASA为58.2%（Figure 4.1与Table 4.1）。
• 作者称开放模型比专有模型更易受攻击；Table 4.1四列中，三个开放模型的点估计都高于GPT-4和Claude-3-Opus。Llama相对Gemma更高的稳健性，作者只写在CWB、CM、ASA上，不包括BI。GPT-4与Claude-3-Opus的ASA差约2.8个百分点，区间重叠，作者称该样本量区分不开。
• 作者称开放模型间迁移TSR为50.5%–62.6%，摘要写达到62.6%。系统提示词攻击比用户内容攻击更有效，所附正文未给该对比的单独数字。

防御与委员会

• 测了什么：ASA在过滤器和委员会下的ASR（Table 4.2）。标题未写目标模型。摘要与4.2.4把7模型的19.3%对应到Gemma-3-4B单模型的73.8%，并称5–7个异构模型下降47–55个百分点。
• 结果：Perplexity Check 58.4±6.8，Instruction Filtering 63.7±6.7，Content Moderation 67.5±6.5，组合42.1±6.8；3/5/7模型委员会为39.4±6.8、26.8±6.1、19.3±5.5。
• 作者解读：单项防御挡不住全部ASA。同质委员会下降更小，论文未给数字。若r取1减ASA下的ASR，只有Table 4.1的两个专有模型高于0.5；作者因此不把开放模型上的委员会结果算作Condorcet条件本身的推论。

木马与多层绕过

• 木马：Pythia-1.4B、TDC2023、full white-box。Table 4.3中GCG最好一次Recall 0.167、REASR 0.987；随机基线Recall 0.14，REASR未报告。PEZ、GBDA、UAT的Recall为0.105、0.116、0.131，REASR为0.052、0.056、0.030。
• 作者解读：高REASR相对容易，真触发器Recall只比随机基线高0.027。作者假设不对称随参数量增大，并称更大模型上的检验留待后续。摘要写REASR约0.99、Recall约0.17，与表中0.987、0.167对应。
• 多层防御：SaTML CTF 2024中，GPT-3.5与Llama 2配三层防御仍可被绕过。受控实验把无防御对照约90%的ASR降到15%–25%；该句未写模型名。作者称没有一种过滤组合同时挡住四类绕过。

MCPBench

• 测了什么：847个场景，三个模型。Table 5.2比较MCP与非MCP工具集成。
• 结果：平均ASR从基线26.4%到MCP的53.7%（+27.3个百分点）。分项为间接注入31.2%对47.8%，工具响应操纵28.4%对52.1%，跨服务器传播19.7%对61.3%。MCPSec再把平均ASR从53.7%降到12.4%，作者称下降41.3个百分点。稳态额外延迟不超过8.3 ms/消息，不含Table 5.3的困惑度过滤和内容审核。
• 作者解读：这些ASR只对应所研究的智能体实现、工具场景和MCP配置，不覆盖全部智能体架构。

其他消融与分析

• RUT：7模型委员会，作者给出ΔRobustness约0.55、并行ΔCost约0.08、ΔUtility约0.02、RUT约5.5；模型调用数仍约随成员数线性增加（4.2.4）。
• Rstab近似：GPT-4o-mini，20个提示、各5个良性扰动，Levenshtein距离1–2，共120次API调用。Table 4.4为Rstab 0.115±0.139、Rclass 0.050、离散输出保持5%。讨论中的提示间范围是0.005到0.540。
• 作者称该样本与Rstab不低于Rclass一致，但标准差大于均值；计算不是teacher forcing，top-20 logprobs会低估散度、从而高估Rstab，且不直接迁到对抗场景。
• vLLM相对HuggingFace：LLaMA-2-13B、A100、生成256 token，吞吐2.8对14.1 req/s（Table 5.1）。Figure 5.4中HF-seq 1.4、HF-batch 2.8、vLLM-base 14.1、vLLM-full 11.7 req/s。
• 安全开销：上下文2048、同一模型与vLLM，CO为基线推理的28.4%；困惑度过滤13.5%，AttestMCP 0.03%（Table 5.3）。正文称2048时防御约占28%，8192时约占12%。
• ASA超参固定为N=50、G=20、α=0.8、β=0.2。所附正文未给出这些超参的消融数字。

作者指出的局限与后续方向

• 大模型上精确计算度量的计算代价高；严格界只覆盖局部攻击；结果迁到生成度量Rstab(f)仍是开放问题；离散token空间上合适的距离仍未解决（第2.7节）。
• 由Rstab(f)给出V(f)的严格上界仍是开放问题，因为离散输出上的条件不能直接转到逐步散度（Remark 2.22）。
• 作者称没有方法消除稳健性与准确率的权衡；对一类扰动的防御不自动迁到其他类；适用性依赖度量d和预算ε（3.3.3与第3章结论）。
• 同质委员会收益的定量估计需要单独研究；稳定降低ASR所需的最低架构多样性仍开放；扩大Rstab样本并在对抗场景上检验被写为下一步（第4章结论）。
• 实现绑定具体供应商API；性能测量来自单一NVIDIA A100，外推到其他加速器需要验证（第5章结论）。
• 第6章Remark 6.1把对未知攻击的泛化下降写成经验观察：针对已知攻击优化的防御，面对新攻击时稳健性或安全性指标可能更低。

实验覆盖范围

• Table 4.1覆盖5个judge模型、4种攻击，四任务聚合n=200，greedy解码；成功规则是分数变化至少2分或比较裁决改变。
• Table 4.2覆盖三种过滤、组合以及3/5/7模型委员会。标题未写目标模型，论文未报告委员会成员名单。ASA查询预算写明为1000。
• 木马数字来自Pythia-1.4B、TDC2023、white-box，比较随机前缀、PEZ、GBDA、UAT和GCG。
• MCPBench为847个场景、三个模型；Table 5.2给出相对非MCP集成的ASR，5.3.5给出MCPSec后的平均ASR。SaTML实验写到GPT-3.5与Llama 2的三层防御。
• Rstab与Rclass的数值对照只在GPT-4o-mini、20个提示、良性扰动、top-20 logprobs、非teacher forcing下给出。gray-box在2.1.2有定义，所附结果未报告该知识水平下的ASR。

这篇博士论文给出一套评估并提高LLM稳健性的度量、攻击和防御，对象是judge、trojan和MCP智能体。

• 问题：作者认为生产系统中的prompt injection、训练期触发器和工具协议注入，会改裁决或把文本漏洞变成外部动作。共同结构被写成离散token映射对小输入变化敏感。
• 度量：Rstab(f)比较小扰动下、沿参考轨迹的逐步输出分布，实验用有界Jensen–Shannon散度。作者称局部攻击满足脆弱性不超过1减Rclass(h)；非局部攻击只用校准模型。固定攻击族上，1减ASR被用作上界的经验代理。
• 攻击：ASA在black-box下做进化搜索，预算1000次查询，并把judge攻击分成直接命令和内容操纵。成功看分数是否至少变化2分，或比较裁决是否改变。
• 结果：Table 4.1中，Gemma-3-4B-Instruct上ASA的ASR为73.8%，GPT-4为45.7%，Claude-3-Opus为42.9%（均n=200）。作者把7模型委员会对应到19.3%，并称5–7模型下降47–55个百分点。Pythia-1.4B上GCG的Recall为0.167、REASR为0.987，随机Recall基线为0.14。MCPBench上MCPSec把平均ASR从53.7%降到12.4%。SaTML对照里，三层防御把约90%降到15%–25%，该句未写模型名。
• 作者结论：作者认为训练后重构真触发器不适合单独承担审计，应优先做预防性数据控制。委员会在个体准确率不超过0.5时，收益被归于异构而非Condorcet条件本身。作者称JudgeGuard已用于Viasat基于judge的推荐排序模块。