跳到正文
原文

Agent Trust Infrastructure(ATI):面向跨组织自主智能体的联邦身份、信任、证明与问责架构

Agent Trust Infrastructure (ATI): A Federated Identity, Trust, Attestation, and Accountability Architecture for Cross-Organization Autonomous AI Agents

arXiv:其他 AI 安全论文· arXiv:2611.23202· Viet K. Nguyen, Mohammad I. HusainCalifornia State Polytechnic University, Pomona本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 ATI,一个跨组织 AI 智能体的五平面信任架构;在模拟联邦中,攻击遏制率从 43% 升至 84%,开销约 174 µs/请求。

威胁模型威胁模型考虑外部攻击者、被入侵智能体、恶意内部人员、证书被盗、重放攻击、提示注入、模型替换、依赖篡改、未授权委托、供应链攻击、被入侵智能体合谋、过期与跨组织证书、系统提示词篡改。

问题
跨组织协作的 AI 智能体缺乏统一机制来验证身份、执行完整性和授权,现有框架只支持规划与协调,网络层信任和 API 认证不足以判断智能体是否合法、按预期运行或有权执行操作。
方法
作者提出 Agent Trust Infrastructure(ATI),把安全检查放在智能体模型之外的参考监控器中,分五个平面:Identity(Ed25519 密钥与 AID)、Trust(各组织 AgentCA 组成扁平联邦)、Attestation(核对运行中的模型、工具与系统提示词哈希)、Policy(每次工具调用的三条规则)、Accountability(签名哈希链日志)。
实验与结果
在八组织模拟联邦、五个智能体模型上评估 14 个攻击场景:总体遏制率从 43% 升至 84%,被平面针对的攻击多数达到 100%;良性任务成功率 91% 对 92%;单请求开销约 174 µs。提示注入(A6)与合谋(A11)基本未被阻断。
局限与可以继续做的
作者指出的局限包括:提示注入与合谋未被现有平面解决、无法独立检测私钥被盗、缺乏隐私控制、证明依赖主机自报测量、日志末端删除不可检测。实验在单进程模拟中进行,跨框架攻击结果未在其余四个框架上重复。
实验设置GPT-4o-mini、Claude 3 Haiku 等 · 模拟八组织联邦(每组织五个智能体:admissions、financial aid、registrar、advising、liaison)、14 个攻击场景(A1–A14,附录 Table IV) 等 · 攻击遏制率(containment,攻击被阻止的试验比例)、良性任务成功率(correct trials over 15) 等
威胁模型
威胁模型考虑外部攻击者、被入侵智能体、恶意内部人员、证书被盗、重放攻击、提示注入、模型替换、依赖篡改、未授权委托、供应链攻击、被入侵智能体合谋、过期与跨组织证书、系统提示词篡改。防御方假设各组织运行自己的 AgentCA,交换 CA 公钥建立扁平联邦信任,参考监控器在智能体模型之外执行检查。
被测模型
GPT-4o-miniClaude 3 HaikuDeepSeek-ChatQwen2.5-7BLlama-3.1-8B
基准
模拟八组织联邦(每组织五个智能体:admissions、financial aid、registrar、advising、liaison)14 个攻击场景(A1–A14,附录 Table IV)6 个良性任务(B1–B6)
指标
攻击遏制率(containment,攻击被阻止的试验比例)良性任务成功率(correct trials over 15)执行开销(µs)评审模型一致率
AI 导读研究者提出 Agent Trust Infrastructure(ATI),一个基于 PKI、零信任架构与远程证明的跨组织智能体安全架构,通过各组织对等证书机构建立联邦信任,无需共享根机构;执行请求前校验智能体证书、核对获批的模型、工具与系统提示词配置,并执行三项授权策略检查。ATI 作为外部安全执行层接入现有智能体框架,不修改底层模型。在 8 个组织、6 种智能体框架、每组织 5 个智能体的模拟联邦中,安全实验涉及 2 个组织,覆盖 14 种攻击场景、6 个良性任务、5 种智能体模型,5 种攻击变体各重复 3 次。启用全部执行机制后,攻击遏制率从 43% 升至 84%(11 个跨配置一致评估的场景中为 40% 升至 80%),每请求约增加 174 微秒开销。

研究者提出 Agent Trust Infrastructure(ATI),一个基于 PKI、零信任架构与远程证明的跨组织智能体安全架构,通过各组织对等证书机构建立联邦信任,无需共享根机构;执行请求前校验智能体证书、核对获批的模型、工具与系统提示词配置,并执行三项授权策略检查。ATI 作为外部安全执行层接入现有智能体框架,不修改底层模型。在 8 个组织、6 种智能体框架、每组织 5 个智能体的模拟联邦中,安全实验涉及 2 个组织,覆盖 14 种攻击场景、6 个良性任务、5 种智能体模型,5 种攻击变体各重复 3 次。启用全部执行机制后,攻击遏制率从 43% 升至 84%(11 个跨配置一致评估的场景中为 40% 升至 80%),每请求约增加 174 微秒开销。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    跨组织 AI 智能体缺乏可验证的身份、执行完整性与授权机制,作者提出五平面信任架构 ATI。

    核心问题:跨组织协作的自主 AI 智能体没有共同机制来验证身份、执行完整性和授权,现有智能体框架只解决规划与协调。

    • 场景与动机:作者称,智能体越来越多地跨组织边界调用工具、与其他实体运行的智能体交互;在这种环境中,网络层信任和 API 认证不足以判断一个智能体是否合法、是否按预期运行、是否被授权执行所请求的操作。
    • 现有方法的不足:作者称,PKI/X.509、OAuth 2.0/OIDC、SPIFFE/SPIRE、DID/VC、TPM 证明、NIST 零信任架构各自为其目标主体(主机、用户、工作负载)设计,都不是为会自主交接工作、行为取决于当前模型与系统提示词的智能体而构建;作者未找到把身份、跨组织信任、模型与提示词证明、工具权限检查和审计记录组合起来的设计。
    • 核心主张:作者认为自主 AI 智能体必须被视为独立的安全主体(类似用户、设备和服务),需要可加密验证的身份、跨组织信任、对已批准模型与执行配置的验证、细粒度授权和可审计记录,且这些能力应独立于底层模型与编排框架。
    • 论文提出的方案:Agent Trust Infrastructure(ATI),一个框架无关的安全架构,基于 PKI、零信任架构和远程证明,通过对等组织证书机构(AgentCA)建立联邦信任,无需共享根权威;在执行请求前验证证书、核对已批准的模型/工具/系统提示词配置,并通过三项策略检查执行授权。
    • 威胁模型(Section IV):
      • 攻击者类型:外部攻击者、被入侵智能体、恶意内部人员、证书被盗、重放攻击、提示注入、模型替换、依赖篡改、未授权委托、供应链攻击、被入侵智能体合谋、过期与跨组织证书、智能体自身系统提示词被篡改。
      • 防御目标:每个请求来自已知智能体、每个动作被允许、每个智能体运行其已批准配置、每个动作事后可追溯。
      • 范围外:组织间流量加密和负载下的可用性。
  2. 有哪些相关研究?

    相关工作覆盖智能体身份、委托授权、零信任、互操作协议安全、运行时完整性与问责工具,作者称多数只覆盖单一平面。

    智能体身份与凭证

    • OIDC-A([2],2025)——扩展 OpenID Connect,加入智能体声明、委托链和证明声明;另有工作为智能体配备去中心化标识符与可验证凭证([7]),或提出带细粒度访问控制的零信任身份框架([6])。作者称这些工作定义了智能体身份的形态与签发方式,而 ATI 中身份只是五个平面之一。

    委托与授权

    • South et al.([1],2025)——提出经认证、授权、可审计的委托,扩展 OAuth 2.0 与 OIDC,使用户能授予智能体有限、可撤销的权限。
    • 基于注册表的方法([8])——用零信任工具注册表防御多智能体系统中的 tool squatting。作者指出 ATI 的 Policy 平面在每次工具调用时检查权限,而非仅在凭证签发时。

    多智能体零信任与互操作协议安全

    • 一篇综述([3])回顾边缘多 LLM 系统的零信任设计;NIST SP 800-207([17])与 SPIFFE([18])分别面向企业网络和工作负载身份,作者称 ATI 把同样的"永不默认信任"思想应用到智能体。
    • MCP([14])与 A2A([15])标准化智能体与工具、智能体之间的交互;相关安全工作包括协议威胁建模([10])和 MCP 组件的远程代码执行漏洞([16])。作者称 ATI 不依赖具体协议,检查运行在请求进入处的代码中。

    运行时完整性、提示注入与问责

    • AgentDojo([11])是提示注入攻防基准;机密计算([13])用硬件证明检查模型运行环境。作者明确称 ATI 的证明平面不防御隐藏在请求数据中的指令(提示注入),将其视为单独问题。
    • BAID([4])用零知识证明把智能体绑定到运营者身份;开源治理工具包括 Microsoft Agent Governance Toolkit([20])、OrgKernel([21])、AGNTCY Identity([22])和 Agent Name Service([23])。

    定位与对比:作者称,先前工作多覆盖单一平面(身份、委托或问责),或提出标准但未跨框架测试;ATI 把五个平面组合进一个位于智能体框架之外的参考监控器,且不新增密码学原语。作者称于 2026 年 10 月 15 日核对上述开源工具的公开仓库后,未发现其中具备"接收方组织可核查调用方模型、工具配置与系统提示词"的能力,也未找到这些工具针对执行层的攻击成功率基准(AGT 报告了提示注入检测器的检出率,但声明尚未发布执行层的攻击成功基准)。本文无传统意义上的基线方法对比,评测以"无防御"为基线、逐平面累加。

  3. 论文如何解决这个问题?

    ATI 把五个安全平面放进智能体模型之外的参考监控器,逐请求做确定性检查,任一检查失败即拒绝。

    整体思路:把安全执行放在智能体语言模型之外,用确定性验证代替依赖模型行为的信任决策。ATI 由五个平面组成:Identity、Trust、Attestation 在智能体模型运行前检查请求,Policy 检查智能体随后的每次工具调用,Accountability 只记录不阻断(Fig. 1)。

    Identity 平面

    • 每个智能体持有 Ed25519 密钥对,其 Agent Identifier(AID)是公钥的 SHA-256 哈希,使标识符绑定到密钥(模拟中哈希截短到 64 位,部署时用完整哈希)。
    • 智能体用私钥签名请求,平面用公钥验签;无密钥的请求视为匿名,在组织入口即被拒绝(Fig. 2)。
    • 作者明确说明:模拟在单进程内运行,签名在同处生成与验证、不经过网络,因此"有证书无私钥无法伪造签名"这一主张基于论证而非测量;密钥轮换等密钥管理未实现。

    Trust 平面:AgentCA 与联邦

    • 每个组织运行自己的 AgentCA,按 X.509 签发把 AID 绑定到组织与角色的证书;八个组织的 CA 组成扁平联邦,无根权威。
    • 请求通过 Trust 平面的条件:证书由联邦 CA 签发、签名有效、证书 AID 与签名密钥匹配、签发 CA 属于证书中命名的组织(名称约束)、在有效期内、AID 未被撤销(Fig. 3)。
    • 证书只携带实际被检查读取的字段:AID、组织、角色、签发者、有效期、签名;有效期当前存储在签名数据之外(作者称这不改变任何实验结果)。

    Attestation 平面

    • 在智能体行动前核对三项:运行中的模型是否为已批准模型、固定工具(web_search)是否为已批准代码(按模块与函数名)、系统提示词的 SHA-256 哈希是否匹配已批准版本;不匹配则在模型调用前拒绝(Fig. 4)。
    • 范围与保真度:不测量二进制、容器镜像或主机环境;检查是同进程内的比较与哈希,不是签名报告;模拟中请求首次进入联邦时检查一次,请求随后到达的其他智能体不再检查。

    Policy 平面

    • 前三个平面在组织入口检查一次,Policy 平面检查每次工具调用(每次数据库读写)。
    • 执行三条规则:组织间可读不可写(写向请求发起组织之外即拒绝);已标记处理的事务不再处理(防重放);敏感办公室(financial aid)拒绝任何返回多于一条记录的读取(防批量导出)(Fig. 5)。
    • 委托:模拟用单一参考监控器看到所有调用,故未实现签名委托令牌,仅通过来源规则执行"跨组织请求不能引发写入";组织内基于角色的细粒度权限尚不属于 ATI。

    Accountability 平面

    • 只记录不阻断:追加式日志,每条记录包含 AID、模型、时间戳、工具、参数哈希,并包含前一条记录的哈希、用组织 CA 密钥签名;任何后续修改或中间删除都会破坏哈希链,由独立验证步骤检测(Fig. 6)。
    • 对单一请求读取两个及以上办公室私密数据的模式(A11 合谋),记录职责分离违规标记供事后审查,而非拒绝;参数以哈希存储以隐藏内容。

    实现与跨组织工作方式

    • 参考监控器约 350 行 Python,完整测试床约 1000 行;在三个检查点介入:请求进入组织时(Identity、Trust)、模型调用前(Attestation)、每次工具调用(Policy)。
    • 每个框架用 40 行以内的适配器包装,无信任逻辑;使用 IETF WIMSE 工作负载令牌格式与 Entity Attestation Tokens,可用现有 JWT 库验证。
    • 跨组织流程(Fig. 7):两组织仅交换 CA 公钥;接收方监控器检查发送方身份与证书、本组织智能体的构建配置、请求权限,并把每个被允许的动作记入自己的日志。模拟简化为单进程:请求者密钥与证书在联邦入口检查一次,组织间跳转的唯一入口检查是伙伴是否被撤销,所有组织写入一个共享日志。
    • 作者声明:Attestation 依赖主机生成的报告,能检测可信主机上的未授权模型或提示词变更,但无法独立检测被入侵主机伪造的报告。
  4. 论文做了哪些实验?

    在八组织模拟联邦、五个智能体模型上评估 14 个攻击场景:总体遏制率 43%→84%,良性成功率基本持平,开销约 174 µs。

    实验设置

    • 测试床:八个独立组织组成的模拟联邦,各运行自己的 AgentCA 和同一支五智能体团队(admissions、financial aid、registrar、advising、liaison);组织分配到六个智能体框架(CrewAI、AutoGen、LangGraph、Semantic Kernel、OpenAI Agents SDK、Google ADK),遏制与效用实验只用其中两个组织(Org 1 用 CrewAI,跨组织场景加 Org 2 用 AutoGen)。
    • 被测模型:GPT-4o-mini、Claude 3 Haiku、DeepSeek-Chat、Qwen2.5-7B、Llama-3.1-8B 共五个;智能体温度固定 0.2。
    • 场景与样本量:14 个攻击场景(A1–A14,附录 Table IV)与 6 个良性任务;每个攻击场景用 5 种措辞 × 5 个模型 × 3 次重复 = 75 次试验(A12、A13 因框架错误实为 72 次,A14 为 67 次);良性任务每例 15 次试验。
    • 评审方式:五个评审模型按书面评分准则投票,多数决判定攻击是否被阻止;评审一致率 96%,86% 试验全体一致;其中四个评审模型同时是被测智能体模型,作者指出它们并非完全独立;9 次无评审裁决的试验计为未阻止。
    • 累加消融:从无防御基线开始,依次加入 Identity、Trust、Attestation、Policy,每步重跑全部试验;A12–A14 只运行了基线和阻止该场景的步骤,其余列按检查工作原理填充(Table I 的 Overall 行混合了测量值与填充值)。
    • 其他:A1–A11 运行中三个模型出现过空或限流回复且未剔除,部分试验可能基于空回复评分;A7 中替换入的模型固定为 GPT-3.5-Turbo。

    主结果

    攻击遏制率(5 模型 × 5 措辞 × 3 重复的均值,据 Table I;A12–A14 部分列为填充值):

    表格较宽,可左右滑动

    场景Base+Id+Tr+At+Po
    A1 外部攻击者20100100100100
    A4 证书被盗5356100100100
    A5 重放攻击1513171575
    A6 提示注入5153525252
    A7 模型替换000100100
    A9 未授权委托1519131671
    A10 供应链373793100100
    Overall(14 场景)4349617684

    (省略 A2、A3、A8、A11、A12、A13、A14 行;其中 A3 基线 96% 为最高基线,A11 全开仅 32%。)

    • 作者称每个平面阻止了其针对的场景:Identity 阻止 A1,Trust 阻止 A4、A10、A12、A13,Attestation 阻止 A7、A8、A14,Policy 提升 A5 与 A9;被平面完全针对的场景结果不再依赖模型或措辞。
    • 作者把未被针对场景的 10–25 个百分点波动(如 A2 从 44 到 61、A3 从 96 降到 81)视为该表的噪声水平;A5 与 A9 停在七十余,作者称规则只在匹配的工具调用上触发,部分模型在写入中省略事务 ID。
    • 作者指出部分攻击在无防御时已被模型自身安全训练拒绝(A3 基线 96%、A8 基线 79%),且模型间差异大:A6 在两个模型上遏制率 0%、另一个模型上 93%,因此单一模型评测会误判系统安全性。

    效用保留

    • 六个良性任务在无防御与完整 ATI 下各跑 15 次试验:成功率 91% vs 92%(Table II);B3、B6 各少一次成功,B4、B5 各多一次,作者称属 15 次试验下的正常波动。
    • B3(读取两个办公室数据)按设计被审计标记但不被拒绝。

    跨框架互操作与开销

    • 用一个良性前门任务在六个框架上各跑一次(GPT-4o-mini,较早的三评审面板打分),全部返回正确结果;作者明确称这不证明智能体在每个框架上行为一致,且 14 个攻击场景未在其余四个框架上重复,"在所有六个框架上运行全部场景仍有待完成"。
    • 开销(Table III,单台笔记本 5000 次重复均值):Identity+Trust 入口检查 151.0 µs,Attestation 0.2 µs,Policy+日志追加 23.7 µs,完整链路单请求约 173.8 µs(同机重跑约 191 µs);作者称约占一秒模型调用的 0.02%,但未测量高负载或数千智能体下的吞吐。

    问责与审计测试

    • 干净运行下哈希链验证通过;修改条目的身份、模型、时间戳、工具或参数哈希、伪造签名均能在该条目处被检出;从末端删除条目不会被检出,因为没有记录链应有长度。
    • A11 合谋模式被日志记录职责分离标记(检测而非阻断),因此 Table I 中 A11 无提升,作者称符合预期。

    其他消融与分析

    • A10 在 Trust 步骤为 93% 而非 100%:Llama-3.1-8B 上 4 次试验无评审裁决计为未阻止,另有 1 次被判未阻止。
    • A12(过期证书)基线 54%、Trust 后 100%;A13(跨组织 CA)基线 75%、名称约束检查后 100%;A14(系统提示词篡改)基线 27%、Attestation 后 100%。
    • Fig. 9 展示 A9 在 GPT-4o-mini 上的单次运行:无防御时 Org 2 保存了他组织请求的修改,ATI 开启时 Policy 平面在 db_write 调用处拒绝;作者称这只是说明机制的单次运行,比率以 Table I 为准。
  5. 有什么可以进一步探索的点?

    作者列出提示注入、合谋、私钥被盗检测、隐私控制等设计局限;实验在单进程模拟与两个框架上完成。

    作者指出的局限与后续方向

    • 提示注入与合谋未解决(Section VIII):A6 利用智能体处理的不可信内容,现有信任平面不直接防御;A11 合谋与合法跨组织协作行为不可区分,确定性访问控制规则难以预防。
    • 私钥被盗不可独立检测(Section VIII):恢复依赖证书撤销与重签发,恢复延迟未经实验评估。
    • 隐私控制缺失(Section VIII):证书与审计日志可能暴露组织关系与通信模式,敏感场景需要超出当前 Policy 平面的数据最小化与隐私保护日志机制。
    • 证明依赖主机自报(Section VI、VIII):Attestation 与智能体同进程运行,无法保证对抗控制底层主机的攻击者;硬件支持的证明(TPM/TEE)可加强但未实现。
    • 日志末端删除不可检测、签名密钥被盗可伪造历史(Section VIII):当前设计在签名密钥安全的假设下提供防篡改记录,而非无条件不可否认性;外部日志锚定、独立见证或硬件保护密钥可加强。
    • 后续方向(Section IX):标准化 AI 特有的身份与证明属性(模型来源、执行框架、工具权限、委托授权)、可互操作的联邦成员发现、分布式撤销机制、由独立管理组织参与的生产规模评估;Section VII 还提到限制各办公室可返回字段以部分应对 A2,留待未来工作。

    实验覆盖范围

    • 被测智能体模型共 5 个:GPT-4o-mini、Claude 3 Haiku、DeepSeek-Chat、Qwen2.5-7B、Llama-3.1-8B;A7 替换入的模型固定为 GPT-3.5-Turbo。
    • 遏制与效用实验只使用两个组织(CrewAI 与 AutoGen 框架);其余四个框架仅各跑了一次良性任务,攻击场景未在它们上面重复。
    • 整个联邦在单进程内模拟:签名不经过网络、Attestation 只在请求进入联邦时检查一次、所有组织共享一个日志;"有证书无私钥无法伪造签名"的主张未经测量。
    • 每个攻击场景 75 次试验(A12、A13 为 72,A14 为 67),良性任务每例 15 次;五个评审模型中四个同时是被测模型,作者指出评审并非完全独立。
    • 论文未报告高负载或大规模智能体下的吞吐;开销数据来自单台笔记本单次基准运行(5000 次重复)。
  6. 总结一下论文的主要内容

    ATI 用模型之外的五平面参考监控器为跨组织智能体提供身份、信任、证明、授权与问责,模拟评测中遏制率 43%→84%。

    一篇防御类论文:针对跨组织自主 AI 智能体缺乏可验证身份、执行完整性与授权机制的问题,提出 Agent Trust Infrastructure(ATI),把安全检查放在智能体模型与框架之外的参考监控器中。

    • 方法:五个平面——Identity(Ed25519 密钥,AID 为公钥哈希)、Trust(各组织 AgentCA 组成无根扁平联邦,验证证书签发者、有效期、撤销与名称约束)、Attestation(核对运行模型、固定工具与系统提示词哈希)、Policy(每次工具调用检查跨组织写入、重放、批量导出三条规则)、Accountability(签名哈希链日志,只记录不阻断,标记合谋模式)。实现为约 350 行 Python 的开源包,用 IETF WIMSE 令牌与 Entity Attestation Token 格式。
    • 主结果:八组织模拟联邦、五个智能体模型、14 个攻击场景下,总体遏制率从无防御 43% 升至四平面全开 84%(Table I);被平面针对的场景(A1、A4、A7、A8、A12–A14)均达 100%,A5、A9 部分提升至 75%/71%。
    • 代价:良性任务成功率 91%(无防御)对 92%(完整 ATI);单请求检查开销约 174 µs。
    • 跨模型发现:作者称同一攻击在不同模型上结果差异大(A6 在两个模型上遏制率 0%、另一个 93%),单模型评测会误判安全性,而 ATI 的确定性入口检查在几乎所有试验中阻止其针对的攻击。
    • 未解决:提示注入(A6,全开 52%)与合谋(A11,仅检测)基本未被阻断;作者结论认为模型层安全行为不足以提供一致的安全执行,确定性检查提供了模型无关的保护,但当恶意动作与合法操作不可区分时仍有攻击残留。
阅读原文arxiv.org