论文提出面向 AI 智能体的事件报告要素框架
Beyond Predictable Paths: Redefining AI Security Incident Reporting for Agents
两位编辑作者综合23位专家,归纳AI智能体安全事件应记录的信息,并列出开放问题。
- AI智能体的安全事件沿推理、工具、记忆和环境交互展开,还可能由多个模型组成,现有非智能体报告标准覆盖不到。作者称立法已要求报告,因此需要事先确定应采集的信息。
- 两位编辑作者对照OECD与欧盟定义,综合23位学术界与产业界专家意见,把应记录内容分为轨迹与自主性、工具与委托、子组件与编排,并讨论报告泄密、针对报告过程的攻击和隐私约束。
- 作者将可复现与取证、跨法域、日志体量与防篡改、semantic gap、涌现行为的记录时长,以及报告泄密和被规避列为开放问题。材料是23位专家意见和Table 1;论文未报告征询协议、一致性,也未报告用该清单填写真实事件的数量。
- 基准
- OECD AI Incidents Monitor (AIM)
一篇 arXiv 论文比较 AI 系统与 AI 智能体,并综合 23 位学术界与产业界专家的意见,梳理出报告 AI 智能体安全事件所需的信息要素。论文提出的潜在报告要素包括智能体记忆与记忆访问、实际与潜在的自主性水平以及工具使用情况。作者据此列出若干开放研究问题,例如如何高效记录事件、如何判断漏洞与事件是否具有泛化性。专家反馈还指出报告机制本身的弱点,包括数据泄露风险以及针对报告基础设施的攻击,并总结了隐私要求与安全可信部署智能体的研究方向。
深度解读
这篇论文试图解决什么问题?
现有报告框架不能覆盖智能体安全事件的轨迹、能力与多组件结构。
安全受损的 AI 智能体缺少适用的事件报告标准,单次输入输出式的非智能体报告不能覆盖多步、多组件事件。
- 场景:作者称智能体部署加快,并遭遇 prompt injection、memory poisoning、tool compromise 等攻击;报告同时服务于法律合规、治理、问责和安全,例如 AI Act Article 73。
- 现有不足:作者称已有非智能体 AI 安全报告提案,以及非安全类智能体事件分析,但没有面向 AI 智能体的安全报告标准。运行时才会组合的工具、子智能体、API 和外部数据,使触发条件可能未在开发或测试中出现。
- 观察:按 OECD 与欧盟定义,智能体是 AI 系统的子集。作者认为差别不大,但对报告影响实质:事件是轨迹而非单次输入输出,能力可直接作用于环境和操作系统,且系统可由多个模型或其他 AI 系统组成。
- 提出内容:两位编辑作者综合 23 位专家意见,给出应采集的信息(Table 1),并讨论记录效率、漏洞与事件能否泛化、报告泄密和针对报告基础设施的攻击,以及隐私与可信部署的研究方向。
有哪些相关研究?
作者对照的是非智能体安全报告、非安全智能体框架,以及立法和标准。
相关研究主要是非智能体 AI 事件报告、非安全类智能体事件分析,以及仍在形成中的立法与标准。
非智能体 AI 的事件与漏洞报告
- Bieringer et al. (2024) 与 MITRE:Bieringer 等人提出面向实践的 AI 安全事件分类;MITRE 有 AI 事件库。作者称这些工作只覆盖 AI 系统。
- 最小要素与类 CVE 报告:Fazelnia, Moshtari, and Mirakhorli (2026) 为 AI 漏洞提出最小报告要素;Cattell and Ghosh (2024) 描述以安全为中心的类 CVE 报告。引言把 Strom et al. (2020) 的 MITRE ATT&CK 列在非智能体 AI 安全事件报告提案中。
- 事件库:论文还点名 AI Incident Database(McGregor 2021)、AVID 和 MITRE Atlas。作者称很少有工作处理智能体安全事件报告的具体问题。
非安全类智能体事件
- Ezell, Roberts-Gaal, and Chan (2025):提出智能体事件分析框架,作者称其聚焦非安全事件。作者明确对比:还应记录记忆读写以识别记忆篡改,跟踪委托和信任边界以识别突破来源,并收集多智能体架构与通信以识别涌现行为带来的威胁。
立法
- Article 73:高风险 AI 系统提供者须报告 serious incidents。论文写该条自 2026 年 8 月 2 日起适用;Digital Omnibus 将第三章高风险要求推迟至 2027 年 12 月 2 日(Annex III)和 2028 年 8 月 2 日(Annex I)。
- GPAI Code of Practice Commitment 9:作者称它是欧盟侧把事件报告写得最接近操作的文书,落实 Article 55(1)(c),向 AI Office 报告,不走 Article 73 渠道,并承认事件信息不能只靠事后重建。
- Article 72 与 75:论文讨论 Article 72 的持续合规评估,以及 Article 75(1a) 下向 AI Office 而非国家市场监管机构报告。
标准与隐私规则
- ISO/IEC TS 8200:2024:说明如何让外部主体控制自动化 AI;以 ISO/IEC 22989:2022 的定义为前提,不假定控制者是人。
- ISO/IEC 42105:讨论运行层的人类监督,而不依赖含糊、不可核验的标准。作者称 NLIP(ECMA TC56)、IETF、LF A2A 等协议标准仍在制定,交互、内容和要求尚未确定。
- GDPR:作者称表面上无关的立法也会变得相关,事件报告必须遵守其隐私要求。
论文没有实验基线。作者把本文定位在安全事件,以及智能体与 AI 系统之间的差距;Figure 1 的计数来自 OECD AI Incidents Monitor(AIM),agentic、CVE 与 AI security 标签依据 Guilherme Jr (2026)。
论文如何解决这个问题?
综合23位专家意见,按轨迹、能力与编排列出应采集信息,并讨论报告风险。
两位编辑作者综合 23 位专家意见,按轨迹、能力和编排整理应采集的信息(Table 1),而不是提出训练或攻击算法。
定义与差别
- AI 系统与智能体:AI 系统采用 OECD(2024)定义:基于机器、从输入推断输出并可影响环境,部署后自主性与适应性可不同。智能体采用欧盟表述,以有限人类交互、尤其无逐步指令,完成目标而非孤立任务;论文将其限定为基于 LLM 的现代智能体,是 AI 系统的子集。
- 攻击与事件:攻击依 ISO/IEC 27000:2018,指试图破坏、暴露、改变、禁用、窃取资产或未经授权访问、使用。事件依 OECD(2024),指涉及 AI 系统且已造成伤害。作者称安全报告要保护 AI 免受外部恶意行为者,并需要更多以攻击者为中心的信息。论文聚焦安全事件。
- 三点差别:轨迹级多步交互、扩大的环境作用、可由多个模型或其他 AI 系统组成。作者称没有一点严格只属于智能体,但都更突出。外部数据可在推理时而非训练时被植入指令;间接 prompt injection、工具误用、记忆投毒和多智能体信任利用会形成更复杂的利用链。作者称这改变了经典 AI 系统适用的威胁模型。
报告目的与困难
- 目的:作者称精确目标仍未定义。除记录外,还可能服务复现、审计与责任、识别新恶意行为者,以及取证。取证准备应进入生命周期,并与知识产权和 GDPR 等隐私要求权衡。
- 两类困难:技术上,对象可能是并行分布式系统,有延迟、时钟不一致和跨实例数据不一致。社会技术上,人与智能体交界可能没有单一事实;智能体还可能跨法域,例如共享个人数据前核验 GDPR。作者称法律与技术处理仍开放。
轨迹、记忆与自主性
- 日志与轨迹:Articles 12、19、26(6) 要求全生命周期记日志并至少保留六个月。作者称这些条款未规定工具调用、记忆写入或委托字段,六个月也可能在渐进植入被识别前到期。应保存消息历史、连接系统、执行日志和推理输出 token。作者称此类日志与存储、处理和数据最小化的权衡尚未深入考察。
- 上下文与记忆:上下文是模型可处理的全部 token。作者称被操纵的上下文可能只暂时存在,须以防篡改形式保存。记忆与外部数据更静态:有版本记版本,无版本或可写则记全文;并记录来源、可访问数据源、信任管理,以及随时间的变更。
- 自主性:作者将其看作谱系。设计时的理论自主性可随动作、组件、工具或执行点变化;轨迹上实际行使的有效自主性对理解事件更关键。一端是人最终批准,另一端是授权持续行动且无逐步监督。
工具、委托与编排
- 工具与环境:可用工具与事件中实际调用可能不同,须记录实际工具、参数、返回、版本和认证 token。影响可及操作系统;论文援引的研究主张把模型当不可信组件,在系统层实施不变量。低层事件与可解释高层事件之间有 semantic gap。作者认为 AI 与非 AI 事件的边界仍难划。
- 委托:记录发起者是人还是智能体、代表用户还是独立非人类身份、每次工具调用的身份和委托链。作者称已认证用户的危险指令仍可能被忠实执行,依威胁模型未必算安全事件,故须记录信任边界及委托、通信中的信任管理。
- 子组件:常包括子智能体、检索模型、分类护栏和评判模型,也可临时生成代码、工具或瞬时智能体。编排者运行时决定调用谁。Table 1 要求记录设计架构与实际架构、编排协议、通信日志。作者称失败模式包括协调失误、冲突和 collusion;漏洞也可以是组件交互的隐含属性,只在运行时出现,推理与行动可以非确定。协议侧的问题类别包括认证、消息完整性、来源元数据、序列化、权限语义,以及指令与数据的界限。
报告风险与制度含义
- 报告自身:作者称智能体可能操纵日志以隐藏活动;了解方案的攻击者可能使攻击在报告中不可见。强制报告也可能被用来迫使知识产权或机密进入报告。已知聚合发布规则时,Sybill 攻击可能推断他人事件;更多字段也更便于隐写。用智能体填写或分析报告,其漏洞可能被用来披露或嵌入非预期信息。作者区分重建用日志与最终披露内容,称粒度仍是开放问题。
- 制度:作者建议把这些信息需求补进现有方案。隐私上建议按公开、复现或法庭分粒度,少用叙述、多用足够粗的类别,以免稀有组合在差分隐私式发布中被识别或被抑制。作者称 Article 73 由 Article 3(49) 的伤害触发,不是由被破坏触发,故所引智能体漏洞若不产生该伤害,就不在此义务内。
论文做了哪些实验?
论文未做模型实验;Figure 1的正文没有给出各类事件计数。
论文没有模型对照实验。定量展示是 Figure 1,正文没有给出各类事件的计数。
实验设置
- 被测模型:论文未运行模型,也未报告攻击模型、评审模型或基线模型。
- 数据:Figure 1 绘制 OECD AI Incidents Monitor(AIM,OECD 2026)的逐年事件数;agentic incidents,以及带官方漏洞编号或 AI security 标签的事件,依据 Guilherme Jr (2026)。
- 图中文字:纵轴为 Count per Year,刻度写有 0、1000、2000、3000、4000;横轴为 Year,标注 2010 至 2024。这些刻度是坐标文字,正文未把它们对应到某条曲线的取值。图例为 Total (OECD AIM)、Agentic incidents、CVE / Vulnerabilities、AI security。
- 专家材料:摘要与结论写综合 23 位学术界与产业界专家。脚注写明贡献者只在各自专业领域提供输入,作者身份不表示认可每一小节。论文未报告征询协议、人数如何构成、一致性或重复编码。
- 指标:论文未定义 ASR 一类指标,也未报告样本量、重复次数或成功判定规则。
主结果
正文没有可填入的计数。Figure 1 只在图注中区分序列。
图例(Figure 1) 图注中的画法 正文计数 Total (OECD AIM) 灰色 未报告 Agentic incidents yellow, dash-doted 未报告 CVE / Vulnerabilities dark blue, dotted 未报告 AI security light blue, dashed 未报告 - 作者称很大一部分 AI 事件涉及 LLM 与 agentic AI,其中相当一部分与安全有关,并有意利用已知漏洞,或专门篡改 AI 模型或智能体。这是对 Figure 1 的文字解读;正文没有给出对应比例。
- 作者用该图提出问题:此类事件和漏洞如何指导响应并进入安全实践。作者称要系统学习真实事件,需要结构化报告,而 AI Act Article 73 已经提出报告义务。
- 作者援引 Apruzzese et al. (2023) 与 Grosse et al. (2024),称攻击者更偏好成本更低的方法,例如钓鱼、凭证窃取和供应链破坏,针对目标模型优化的复杂攻击尚未大规模武器化。作者认为尽管目前流行度低,潜在影响高,且可能被智能体的自主性与能力进一步放大,仍应前瞻缓解。这不是 Figure 1 的读数。
文中举例而非测量
- 漏洞例子:作者举例说明漏洞可落在数据、上下文和工具上,并给出 EchoLeak(CVE-2025-32711)、ShareLeak in Copilot Studio(CVE-2026-21520)、Reprompt(CVE-2026-24307)、GitHub Copilot(CVE-2025-53773)。论文未报告这些条目的计数或复现实验。
- 越界例子:作者提到 OpenAI 与 Anthropic 的事件,称智能体超出预定运行边界并获得对外部系统的未授权访问,并称因此需要系统化的智能体描述。论文未报告案例数量或按 Table 1 填写的结果。
- Table 1:要素分三组,即轨迹、能力、子组件与编排。这是综合专家意见后的清单,论文未报告用它编码事件后的字段覆盖率。
其他消融与分析
- 论文未报告消融、参数分析、对照基线分数或失败案例统计。
有什么可以进一步探索的点?
作者把取证与隐私、日志体量、涌现记录和报告自身安全列为开放问题。
作者把报告目标、日志体量、跨法域、涌现行为记录和报告自身安全写成开放问题。
作者指出的局限与后续方向
- 报告目标与权衡:作者称报告的精确目标仍未定义;可复现、取证与知识产权、隐私的权衡,以及对从业者、公司和法律主体的效用,是后续研究(Describing Agentic Incidents 的 Open Research Problems)。
- 社会技术与法域:作者称人与智能体之间可能没有单一事实,心理互动应被研究;智能体可能跨越多个法域,法律与技术上如何处理仍开放(同一节;Implications 再次写出)。
- 采集与检测:作者将收集、处理、版本化和存储描述智能体所需信息,自动检测安全事件,在防篡改下减少数据量,以及如何记录自主性,列为开放问题,并注明已有一些防篡改做法被探索(Describing the agent and its trajectory;Avizheh et al. 2026)。
- 能力描述:作者称在不落入 semantic gap 的前提下描述工具使用和对操作系统、环境的作用,经认证 token 追踪委托原因,以及何时用传统安全报告或智能体报告,仍开放(Describing Agentic Capabilities)。
- 涌现与记录时长:如何在涌现行为下记录事件、如何在每个组件强制记录,以及事前、事后活动要记多久才足以识别事件,作者称不清楚(Agent subcomponents and orchestration)。
- 报告自身:应记录并保存什么、最终披露哪个子集,报告的安全、保密与完整性,以及可能的智能体报告者的相应性质,作者列为未来研究。Implications 还写明须评估报告中的数据泄漏,以及利用报告结构来规避或削弱报告的攻击,并称报告理想情况下应防篡改或可检测篡改(Security and privacy risks of reports;Implications)。
实验覆盖范围
- 意见材料为 23 位学术界与产业界专家;脚注写明各人只在自身专业领域提供输入,作者身份不表示认可每一小节(摘要脚注、Conclusion)。
- Figure 1 使用 OECD AIM(OECD 2026),agentic、官方漏洞与 AI security 标签依据 Guilherme Jr (2026);图中年份轴标注到 2024。
- 应采集要素汇总在 Table 1,分为轨迹、能力、子组件与编排。
- 论文未报告专家征询协议、同意度或编码一致性。
- 论文未报告按 Table 1 填写真实事件的数量、字段完整情况或生成报告的耗时。
总结一下论文的主要内容
作者称没有记下自主性、委托、记忆和交互的报告,将难以理解并预防事件。
这是一份由两位编辑作者综合 23 位专家意见写成的立场性讨论,主题是受损 AI 智能体的安全事件报告。
- 问题:智能体是 AI 系统的子集,但事件沿推理、工具调用、记忆访问和环境交互展开,并能直接作用于环境和操作系统,还可包含多个模型。作者称现有非智能体安全报告和非安全类智能体事件框架,都不是面向智能体的安全报告标准,而 Article 73 一类义务已经提出报告要求。
- 做法:作者先把报告可能的用途写成记录、复现、审计和取证,再列出 Table 1。轨迹侧包括消息历史、推理 token、数据来源与读写、理论自主性与有效自主性。能力侧包括信任边界、可用工具与实际调用、操作系统交互、身份、委托链和认证 token。编排侧包括设计时与运行时的多智能体架构、编排协议和通信日志。
- 作者的判断:作者称若报告不能记下自主性、委托、记忆和智能体交互,许多安全事件将难以理解、复现并最终预防。作者同时认为报告本身会带来泄密、隐写、Sybill 推断,以及针对报告过程的攻击,披露粒度必须与 GDPR 和知识产权权衡。
- 制度判断:作者建议把这些字段补进现有方案,并按公开、复现或法庭使用不同粒度。作者称 Article 73 由伤害而非被破坏触发,智能体漏洞若不产生该伤害就不在此义务内。
- Figure 1:作者用 OECD AIM 的逐年计数称 LLM 与 agentic 事件占很大一部分,其中相当一部分与安全有关;正文没有给出各类计数。