我们握有全部卡片:在 Agent2Agent 协议的运行信任边界上保障 Agent Card 安全
We Have All the Cards: Securing Agent Cards at the Operational Trust Boundary of the Agent2Agent Protocol
作者提出 A2A Agent Card 十类操纵攻击分类法与分层验证框架 SEC CARD;在真实卡注入攻击上最强评审达 97.0% 召回、1.7% 误报。
攻击者为恶意提供者或攻陷合法提供者,控制 Agent Card 全部 free-text 字段,可发布通过 A2A schema 校验的卡;orchestrator 及其执行环境可信,Agent Card 视为不可信输入,攻击发生在 provider 被调用之前(pre-invocation)。
- A2A 协议中 Agent Card 含攻击者可控的自然语言字段,会在 provider 被调用前影响 orchestrator 的代理选择,构成 pre-invocation 信任问题;A2A 规范在 schema 一致性之外没有评估卡片可信度的指导。
- 作者提出十类 Agent Card 操纵攻击的分类法,并设计分层验证框架 SEC CARD:Layer 1 做协议结构校验,Layer 2A 用确定性 NLP 规则,Layer 2B 用只读、无工具的 LLM-as-a-judge 做语义判定,输出 BENIGN/SUSPICIOUS/MALICIOUS。
- 作者探测 36.1M 域名收集 310 张部署中的 Agent Card,并构建 660 卡真实卡扰动基准与 260 卡合成对抗基准。最强评审 GPT-5.5 在扰动基准上 security recall 97.0%、FPR 1.7%;九个评审在合成基准上召回 25.8%–92.3%,作者称效果高度依赖评审模型选择。
- 作者指出的局限:只评估调用前的卡片内容检测,不验证 provider 运行时行为与所宣称能力一致;不替代签名等来源与完整性机制。实验仅测检测而非对部署 orchestrator 的端到端攻击成功率;野生卡中 Untrusted 样本仅 28 张。
- 被测模型
- GPT-5.5Claude Opus 4.8GPT-5.4-miniGemini 3.1 Flash LiteClaude Haiku 4.5Gemini 2.5 Flash LiteLlama 3.1 8BPhi-4 14BMistral Nemo 12B
- 基准
- In-the-Wild Dataset(310 张部署中的 Agent Card)Real-Card Perturbation Dataset(660 张)Synthetic Adversarial Dataset(260 张)
- 指标
- security recallfalse-positive rate (FPR)precisionaccuracyCohen's κ
研究者针对 Agent2Agent(A2A)协议的 Agent Card 提出十类发现阶段操纵攻击分类与调用前校验框架 SecCARD。Agent Card 是编排器调用外部智能体前读取的 JSON 元数据,其自然语言字段可被攻击者控制并影响智能体选择。论文将攻击归为操纵选择、虚报能力、逃避检测三类,SecCARD 结合协议合规检查、确定性 NLP 规则与 LLM 语义判官分层检测。团队探测 3610 万个互联网域名收集到 310 张已部署 Agent Card,两名标注者一致性 96.8%,标注结果含 282 张良性、27 张可疑、1 张恶意;在注入受控攻击的 660 张真实卡片扰动基准上,最强判官 GPT-5.5 达到 97.0% 安全召回率、1.7% 误报率,而九个 LLM 判官在 260 张合成对抗基准上的安全召回率介于 25.8% 至 92.3%,检测效果高度依赖底层模型选择。
推荐理由论文给出十类 Agent Card 操纵攻击分类和 SecCARD 调用前校验框架,跨九个 LLM 判官的实测显示检测效果差异巨大。
深度解读
这篇论文试图解决什么问题?
A2A Agent Card 的自然语言字段可被攻击者控制,在 provider 被调用前操纵 orchestrator 的代理选择,论文提出分类法与调用前验证框架。
核心问题:A2A 协议中攻击者可控的 Agent Card 自然语言字段会在 provider 被调用之前影响 orchestrator 的代理发现与选择,构成 pre-invocation 信任问题,而 A2A 规范在 schema 一致性之外没有评估卡片可信度的规范性指导。
- 场景与重要性:orchestrator 通过 /.well-known/agent-card.json 获取卡片,把 free-text 字段放入 LLM 上下文后自主决定是否调用,无需人工审查;作者称成功的操纵可能导致选择攻击者控制的 provider、委托敏感任务、泄露任务上下文等后果。
- 现有工作不足:作者称已有工作只刻画了有限的 discovery-time 操纵(如 A2ASecBench 只覆盖 2 类 Agent Card 攻击),主要在受控环境评估,缺乏对部署中卡片的实证测量、人工标注的安全 ground truth 和专门的 pre-invocation 验证方法。
- 核心观察:作者把十类攻击按检测方式分为语义型(需推理意图,如 Ranking Manipulation)与结构型(留有词法/结构痕迹,如 Unicode Tricks),认为单一检测策略不足,确定性与语义分析互补(Table 3)。
- 论文产出:十类 Agent Card 操纵攻击分类法;分层验证框架 SEC CARD;三个数据集(310 张野生卡、660 卡真实卡扰动基准、260 卡合成对抗基准)。
- 威胁模型(Sec. 4):
- 目标:操纵 discovery 过程,使对抗 provider 越过 discovery-to-invocation 信任边界,进入自主工作流。
- 知识:攻击者无需与目标 provider 事先通信,也不需要控制其 system prompt。
- 能力:恶意提供者从头发布恶意卡,或攻陷合法域名替换卡片;控制卡片全部 free-text 字段,可发布通过 A2A schema 校验的卡,可组合十类攻击。
- 受害系统与假设:A2A orchestrator(client agent);论文假设 orchestrator 及其执行环境可信,Agent Card 即使来自表面合法的 provider 也视为不可信输入。
有哪些相关研究?
相关工作分 A2A/Agent Card 安全与提示词注入两组;最接近的 A2ASecBench 只覆盖 2 类卡片攻击且无调用前防御。
A2A 与 Agent Card 安全
- Habler et al. [12]——对 A2A 做较广的威胁分析,涵盖 Agent Card 发现环节的风险;Table 1 标注其未覆盖攻击类别、野生卡片与 pre-invocation 防御。
- Louck et al. [13]——关注 A2A 中的隐私与安全信息交换;He et al. [14] 与 Sharma et al. [15] 研究更广多智能体系统的对抗行为与安全评测,而非专门针对 A2A 发现环节。
- Li et al. 的 A2ASecBench [16]——覆盖 A2A 生命周期的安全基准,六类攻击中有两类针对 Agent Card 准入(AgentCard Spoofing、Capability Cloaking);论文指出它没有引入专门的 pre-invocation Agent Card 验证机制。本文的 Real-Card Perturbation Dataset 采用了它提出的 seed-and-perturb 构建方法。
- Deshmukh et al. [17]——实证研究 Agent Card poisoning,称被操纵的卡片可把 orchestrator 重定向到攻击者控制的端点,并在受控 testbed 评估检测策略;论文称本文考虑更广的 discovery-time 操纵,并以互联网规模测量和人工 ground truth 补充。
LLM 应用与智能体中的提示词注入
- Perez and Ribeiro [18]——提出提示词注入:嵌入攻击者可控文本的指令影响 LLM 行为。
- Greshake et al. [8]——把威胁扩展到间接提示词注入,恶意指令来自外部检索内容;后续工作 [19]、[20] 展示了工具集成智能体与外部资源中的相关风险。
- AgentDojo [7]、InjecAgent [10]、Liu et al. [9]——论文在引言中引用它们说明间接提示词注入是 LLM 集成系统的既定威胁,正文未进一步展开。
定位:作者称本文研究智能体生命周期中不同的点——嵌入发现元数据中的不可信内容,聚焦 discovery-time 检测;与 Table 1 中各工作相比,本文同时覆盖十类攻击、野生卡片测量、人工 ground truth 和 pre-invocation 防御。
论文如何解决这个问题?
先建立十类攻击分类法,再据此设计 SEC CARD:Layer 1 协议校验、Layer 2A 确定性规则、Layer 2B 只读 LLM 语义评审,输出三级判定。
整体思路:先用十类攻击分类法刻画 discovery-time 攻击面,再按"结构型攻击用确定性规则、语义型攻击用 LLM 推理"的观察设计分层验证框架 SEC CARD(Secure Card Analysis for Risk Detection),在卡片内容影响代理选择或调用前完成验证。
攻击分类法(Sec. 5)
- Manipulate Selection:Indirect Injection(嵌入自然语言指令覆盖 orchestrator 推理)、Ranking Manipulation(用夸大声明与比较性语言偏置排序)、Evaluator Manipulation(针对安全校验器或 LLM 评审请求良性判定)。
- Misrepresent Capabilities:Skill Deception(宣传误导性技能)、Skill Chaining(单独良性、组合后权限扩大的技能)、Out-of-Context Skills(与宣称用途语义不一致的技能)。
- Evade Detection:Unicode Tricks、Context Pollution、URL Pivot、Metadata Gaps,分别利用混淆字符、稀释内容、端点操纵和元数据缺陷绕过校验。
- 检测映射(Table 3):五类语义攻击主检 Layer 2B,四类结构攻击主检 Layer 2A,Out-of-Context Skills 为 Mixed(2A+2B)。
Layer 1:结构合规校验
- 功能:按 A2A v1.0.0 schema 校验 JSON,缺必填字段或结构畸形即丢弃,过滤非 agent-card 响应(如通用 API 错误页)。
- 实现:作者实现的轻量校验器检查八个协议强制字段是否齐全。
Layer 2A:确定性 NLP 规则
- 预处理:递归提取卡片文本,把 Unicode homoglyph 归一化为规范拉丁等价形式。
- 七组特征:指令模式、排序指标、敏感操作指标、URL 分析、Unicode 分析、上下文长度分析、技能一致性分析(agent description 与 skills 之间的 TF–IDF 余弦相似度)。
- 严重度聚合:特征分求和,≥8 判 MALICIOUS,3–7 判 SUSPICIOUS,<3 判 BENIGN;作者称该层输出确定、无需外部推理 API、本身不受提示词注入影响。
Layer 2B:LLM-as-a-Judge 语义分析
- 关键设计:使用独立、只读的 LLM 实例做分类——无工具访问、无记忆、无对话连续性;作者称这样即使评审被注入也不会影响 orchestrator,且注入本身就是恶意证据。
- 输入准备:只分析影响 orchestrator 决策的字段子集(name、description、provider、url、documentationUrl 及全部 skills 条目),序列化为 JSON 并截断到 6 KB,作者称该上限保留了野生语料 310 张卡中超过 95% 的完整内容。
- 信任边界:序列化卡片包在专用 <UNTRUSTED_CARD> 分隔符内再插入 user prompt,与可信 system prompt 显式分离。
输出与准入
- 三级判定:BENIGN / SUSPICIOUS / MALICIOUS,作为 orchestrator 准入决策的安全信号;论文不规定统一的信号组合策略,称取决于部署方对误报与漏报的容忍度。
- 成功判定口径(Sec. 8.2):SUSPICIOUS 标签的攻击判 SUSPICIOUS 或 MALICIOUS 均算检出;MALICIOUS 标签的攻击只有判 MALICIOUS 才算检出(severity-aware security recall)。
论文做了哪些实验?
围绕四个 RQ:310 张野生卡上对齐人工标注、660 卡扰动基准测攻击检出与误报、260 卡合成基准测分类别表现、九评审横向比较。
实验设置
- 被测对象:SEC CARD 的 Layer 2B 语义评审,共九个 LLM judge:GPT-5.5、Claude Opus 4.8、GPT-5.4-mini、Gemini 3.1 Flash Lite、Claude Haiku 4.5、Gemini 2.5 Flash Lite、Llama 3.1 8B、Phi-4 14B、Mistral Nemo 12B;开源模型经 Ollama 在 NVIDIA RTX A2000 12 GB GPU 上本地运行。
- 数据集:In-the-Wild(310 张部署卡片,人工标注 282 BENIGN / 27 SUSPICIOUS / 1 MALICIOUS);Real-Card Perturbation(60 张良性种子 + 600 张对抗变体,每类攻击 60 张,SUSPICIOUS/MALICIOUS 各 300);Synthetic Adversarial(260 张全生成对抗卡,由 Claude Sonnet 4.6 生成并人工校验 schema 合规,覆盖十类攻击、三种混淆度、三种攻击者熟练度、四个应用 persona)。
- 指标:security recall(severity-aware:MALICIOUS 须判 MALICIOUS,SUSPICIOUS 判 SUSPICIOUS 或 MALICIOUS 均可)、FPR、precision、accuracy、三类 Cohen's κ、平均延迟。
- 评审方式:RQ1 以两名人工标注者的标签为 ground truth(一致率 96.8%,κ=0.804,分歧经讨论解决);所有评审使用同一 semantic-validation prompt 与评测流程。
- 重复次数:论文未报告。
主结果
据 Table 7(660 卡 Real-Card Perturbation 基准,Overall recall 与 60 张良性对照上的 FPR)和 Table 8(260 卡 Synthetic Adversarial 基准 Overall recall):
表格较宽,可左右滑动
评审模型 扰动基准 recall 扰动基准 FPR 合成基准 recall GPT-5.5 97.0% 1.7% 92.3% Claude Opus 4.8 91.0% 5.0% 81.5% GPT-5.4-mini 86.3% 15.0% 73.8% Gemini 3.1 Flash Lite 92.3% 6.7% 86.5% Claude Haiku 4.5 88.0% 15.0% 81.9% Gemini 2.5 Flash Lite 68.8% 0.0% 70.8% Llama 3.1 8B 64.2% 26.7% 63.5% Phi-4 14B 56.8% 26.7% 42.7% Mistral Nemo 12B 33.7% 5.0% 25.8% - 作者称最强模型能检出大部分受控攻击并保留多数良性种子卡,注入的攻击内容(而非底层真实卡片)常可被识别为信任违规的来源。
- 作者称检测效果在不同攻击类别和评审模型间差异大,语义评审是重要部署选择而非可互换组件。
- 精确三类准确率一致低于 severity-aware recall(如 GPT-5.5 在合成基准上 92.3% recall 对 77.3% accuracy)。
RQ1:野生卡上与人工标注的一致性(Table 6)
- 测了什么:310 张 In-the-Wild 卡片,SUSPICIOUS∪MALICIOUS 合并为 Untrusted(n=28),只评估 Layer 2B。
- 结果:GPT-5.5 准确率 94.5%、recall 89.3%、FPR 5.0%、κ=0.718;Gemini 2.5 Flash Lite recall 82.1% 但 FPR 最低 0.7%、precision 92.0%;Claude Haiku 4.5 与 Phi-4 检出全部 28 张 Untrusted 卡,但 FPR 分别为 45.7% 和 46.5%。
- 作者解读:语义验证在自然出现的卡片上可行,但模型选择影响攻击检出与良性卡拒绝之间的运维权衡;高召回本身不代表有效的信任决策。
RQ3:合成基准上的分类别表现(Table 8)
- 测了什么:260 张合成卡在十类攻击上的 recall 差异(每类语义攻击 n=35,Mixed n=25,结构攻击 n=15)。
- 结果:GPT-5.5 从 Metadata Gaps 的 67% 到 Indirect Injection、Skill Chaining、URL Pivot、Unicode Tricks 的 100%;Ranking Manipulation 从 GPT-5.5 的 86% 到 Phi-4 与 Mistral Nemo 的 17%;Metadata Gaps 从 Gemini 3.1 Flash Lite 与 Claude Haiku 4.5 的 93% 到 Mistral Nemo 的 13%。
- 作者解读:没有哪类攻击在所有评审上都一致困难;对一类操纵的鲁棒性不意味着对整个 discovery-time 攻击面的鲁棒性。
其他消融与分析
- 延迟(Table 7、8):单卡平均延迟从 Gemini 2.5 Flash Lite 的 1.1s 到 Phi-4 的 16.9s(合成基准;扰动基准上 Phi-4 为 15.9s)。
- 严重度分层(Table 7):GPT-5.5 对 MALICIOUS 变体 recall 98.7%、SUSPICIOUS 变体 95.3%;Phi-4 则相反(41.0% 对 72.7%)。
- RQ1 单独评估 Layer 2B:论文说明 Layer 1 与 2A 为确定性组件,RQ1 聚焦与人标注最可比的语义判定,未报告完整流水线在野生卡上的端到端数字。
- 负面结果:开源小模型整体偏弱,Mistral Nemo 在扰动基准上 recall 仅 33.7%、合成基准 25.8%;作者未给出原因解释。
有什么可以进一步探索的点?
作者列出运行时行为、来源认证两类局限及多智能体协同等未来方向;实验仅覆盖检测环节,野生 Untrusted 样本仅 28 张。
作者指出的局限与后续方向
- 运行时行为(Sec. 9.2):框架只评估调用前的 Agent Card 内容,测量的是对抗内容的检测而非对部署 orchestrator 的端到端攻击成功率;provider 可能卡片良性但运行时行为恶意,作者称将调用后行为监控与框架结合是未来方向。
- 认证与来源(Sec. 9.2):SEC CARD 不替代 JWS 签名等密码学来源与完整性机制;有效签名的卡片仍可能含欺骗性元数据,二者互补。
- 未来工作(Sec. 10):作者称应把威胁模型扩展到协同多智能体攻击、随时间修改卡片的自适应攻击者,以及针对注册表、缓存服务、信任管理机制等发现基础设施的攻击。
- 泛化讨论(Sec. 9.1):作者称十类中八类可直接迁移到 MCP,url_pivot 只能部分映射、metadata_gaps 需适配 MCP schema;应用到其他协议需适配结构校验与检测特征。
实验覆盖范围
- 被测对象为九个 LLM judge(六个闭源、三个开源 8B–14B),评测的是 Layer 2B 语义评审;Layer 1 与 Layer 2A 未单独报告端到端检出数字(Sec. 8.1)。
- 三个数据集共 1230 张卡:310 野生、660 扰动(600 对抗 + 60 良性对照)、260 合成;良性卡上的 FPR 仅在 282 张野生良性卡(Table 6)和 60 张对照卡(Table 7)上测量,合成基准无良性卡、不报 FPR(Table 8 表注)。
- 野生卡 ground truth 中 Untrusted 样本为 28 张(27 SUSPICIOUS + 1 MALICIOUS),两名标注者一致率 96.8%、κ=0.804(Sec. 7.1.1)。
- 合成卡由 Claude Sonnet 4.6 生成并经人工校验 schema 合规(Sec. 7.3);论文未报告各评审实验的重复次数。
- 论文未报告对自适应攻击者(针对 SEC CARD 检测规则专门规避)的评测;Sec. 10 将其列为未来工作。
总结一下论文的主要内容
针对 A2A Agent Card 的 pre-invocation 信任问题,论文给出十类攻击分类法与 SEC CARD 分层验证框架,并用三个数据集做系统评测。
一篇关于 A2A 协议发现环节安全的防御论文:Agent Card 的 free-text 字段由攻击者可控,会在 provider 被调用前进入 orchestrator 的上下文并影响代理选择,而 A2A 规范只要求 schema 合规。
- 问题:恶意提供者或攻陷合法域名的攻击者可发布通过 schema 校验的恶意卡片,操纵代理选择、虚报能力或规避校验;论文假设 orchestrator 可信、卡片不可信。
- 方法:十类 Agent Card 操纵攻击分类法(操纵选择、虚报能力、规避检测三组);SEC CARD 分层验证——Layer 1 协议结构校验,Layer 2A 七组确定性 NLP 特征加严重度打分,Layer 2B 用只读、无工具、无记忆的独立 LLM 评审做语义判定,输出 BENIGN/SUSPICIOUS/MALICIOUS 三级信号。
- 数据:探测 36.1M 域名收集 310 张部署中的 Agent Card,两名标注者一致率 96.8%(κ=0.804);另构建 660 卡真实卡扰动基准(含 60 张匹配良性对照)和 260 卡合成对抗基准。
- 主要结果:GPT-5.5 在扰动基准上 security recall 97.0%、对照卡 FPR 1.7%(Table 7);九个评审在合成基准上 recall 从 25.8%(Mistral Nemo)到 92.3%(GPT-5.5)(Table 8);野生卡上 GPT-5.5 与人工标注一致性最高(recall 89.3%、FPR 5.0%、κ=0.718,Table 6)。
- 作者结论:作者称 SEC CARD 能识别全部十类 discovery-time 操纵并保留良性卡片,但效果关键取决于底层 LLM 评审的选择;Agent Card 及类似发现元数据应被视为安全边界而非可信服务描述,pre-invocation 验证应成为自主代理发现的安全原语。
- 边界:评测只覆盖调用前的内容检测,不验证 provider 运行时行为,也不替代签名等来源认证机制。