论文提出带类型溯源与断言护栏,防止持久化 AI Agent 把不可信输入当作自身历史
Stored Is Not Supported: Typed Provenance and Assertion Guardrails for Persistent AI Agents
论文提出类型化溯源与断言护栏,使持久智能体区分已存储内容与有证据、权限和时效的自传断言;24 个手工用例中类型化中介对 19 个不安全机会的无限定释放为 0。
主动对手可向外部网页、检索片段、用户对话或第三方工具输出注入恶意自然语言、伪造传记事实或投毒上下文,目标是诱使智能体发出虚假自传陈述、采纳伪造用户偏好或违反保密范围。
- 持久智能体经反思、检索与巩固形成自传状态,但存储或检索并不赋予断言资格。不可信输入、提示注入和模型推断可进入持久状态,之后被当作智能体历史或用户承诺说出。
- 作者定义自传断言有界性,用类型化溯源图分开来源、依赖谱系、认识角色、时效与披露范围;resolver 给出证据状态及冲突、过期、扣留标记和受保护决策见证;generate–verify–revise 中介在释放前核验语义单元。
- 在 24 个手工符合性用例、19 个不安全机会与 5 个受支持对照上,类型化中介的 UOR 为 0/19,RC 为 0/7,Coverage 为 5/5;flat/prior 释放 19/19,source-tag 释放 18/19。作者称这只验证编码后的 resolver 与中介义务,不是语言模型或检索系统的端到端评测。
- 作者称保证以抽取、谓词正确、解析可靠、视图去密和信道中介等假设为条件,且不认证外部真值。可执行工件不实现自然语言语义抽取、完整溯源图遍历和目标来源准入检查。论文另给出未来端到端评测协议,但本次未做。
- 威胁模型
- 主动对手可向外部网页、检索片段、用户对话或第三方工具输出注入恶意自然语言、伪造传记事实或投毒上下文,目标是诱使智能体发出虚假自传陈述、采纳伪造用户偏好或违反保密范围。假定权威状态头 h、密码学密钥与断言中介的隔离执行环境完整;私钥被攻破、内核隔离被破坏或未中介旁路侧信道不在主安全边界内。
- 基准
- 24 hand-authored conformance casessix threat trackstwo-source fixture
- 指标
- UORRCCoveragePrevention PrecisionPrevention RecallMediation Latency
论文针对持久化 AI Agent 提出带类型溯源与断言护栏,要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围,由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志,再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中,带类型中介未放行 19 个不安全机会中的任何一个,同时保留全部 5 个受支持控制;扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。
深度解读
这篇论文试图解决什么问题?
持久智能体把可检索内容当成可断言的自传事实,论文要给外发陈述加上证据、时效和披露约束。
持久智能体如何区分“存过或模型一般知道”与“这个智能体有证据、权限和有效范围可以声称”的内容。
- 场景:作者称自主智能体用分层记忆做周期性反思、语义检索和后台巩固,持久化扩大可检索范围,但不建立认识地位。不可信文档、间接指令和模型推断可进入用户画像,之后以第一人称被当成用户请求或智能体历史。反复检索与再摘要还可能让无根据主张自我印证。
- 现有不足:作者称跟踪来源 URL、模型置信度或自我反思提示,不能同时约束状态准入、证据支持、智能体立场、时间有效性和披露授权。加密来源仍可能不准确,同源多条记录会制造共识假象,过期偏好仍可能被使用,合法事实也可能不该对特定接收者公开。
- 核心观察:作者把存储与支持分开。模型能生成命题并不使其进入已接受主张集;准入、认证和支持都不蕴含外部真值,不支持也不蕴含为假。
- 提出内容:作者形式化自传断言有界性(autobiographical assertion boundedness),给出类型化溯源图、带决策见证的 resolver,以及 generate–verify–revise 释放门,并在假设下证明条件性有界性契约,另附 24 个手工符合性用例。
- 威胁模型:
- 目标:诱使智能体发出虚假自传陈述、采纳伪造用户偏好,或违反保密范围(Section 2.7)。
- 知识与能力:主动对手可向外部网页、检索片段、用户对话或第三方工具输出注入恶意自然语言、伪造传记事实或投毒上下文。四类手段为 Sybil Corroboration、Consolidation Injection、Temporal Exploitation、Declassification Probing。
- 受害系统:带持久状态的自主智能体;外发陈述经受治理的输出信道,由断言中介拦截。
- 信任边界:假定权威状态头 h、密码学密钥设施和中介隔离执行环境完整。攻破私钥、破坏内核隔离或经未中介旁路泄漏,不在主安全边界内。
有哪些相关研究?
论文把相关工作放在记忆架构、检索与溯源、以及主张核验几类里,并用对照表定位本文的时效、范围与释放检查。
- 持久记忆与巩固:论文引言将分层记忆、周期性反思、语义检索和后台巩固作为持久智能体的既有架构背景,并指出 LoCoMo 一类基准评测长对话中的事实检索,但检索本身不授予认识资格。提示注入评测则显示不可信输入可以引导智能体推理;作者认为在持久架构中,由此产生的无支持主张会留在原上下文之外并影响后续回答。
- 状态与完整性机制:作者把 append-only 日志、Merkle DAG 和事务存储当作可实现权威状态排序与版本化依赖闭包的下层机制,并明确原子存储是本文的假设边界,不是贡献或评测对象。可达性只提供待解析候选,不单独建立支持。
- 主张核验与记忆系统对照:附录比较表把 MemIR、MemTX、ConsistencyGate、MiniCheck 与本文并列。按表中写法,MemIR 做时间锚定但未建模纠正,检索与溯源范围、规范化事实投影及是否不可旁路均未说明或未指定;MemTX 记录有效性与类型化级联修复,权限偏动作,向外断言释放在契约之外;ConsistencyGate 与 MiniCheck 的时间有效性未建模且多在所述契约之外,MiniCheck 被标为主张级落地评测器。本文一行写为有效区间、传递失效与发射头检查,以及按主体、目的和关系划分的范围,并把类型化内容释放与状态释放拆开,配接收者安全的统一状态呈现。
- 基线方法与基准:可执行符合性套件对照三条确定性释放规则:flat/prior、source-tag、typed mediation,用例为 24 个手工编写的结构化案例、六条威胁轨道、两源夹具。作者另列出五种供未来端到端比较的部署范式:无情景记忆的纯参数智能体、原始转录上的扁平向量检索、标准 top-k RAG、缺少图级根独立性的带溯源标签检索,以及只在提示装配时过滤记忆投影、释放前不做中介的状态有界架构。本次实验没有跑这五种部署。
作者把本文定位为:不修剪模型潜在参数知识,而用显式认识角色之间的受治理转移,把存储与支持分成不同判断,并在释放门上要求无限定内容断言绑定到已准入、政策支持、当前且披露已授权的主张。
论文如何解决这个问题?
用类型化溯源图、resolver 和 generate–verify–revise 释放门,把外发自传断言绑到已接受状态头上的证据与范围。
整体上,typed provenance 与 assertion guardrails 把“存得着”和“说得出”拆开:状态准入、授权投影和断言中介三层分别管对象能否进入 Gh、能否进入接收者视图,以及候选输出能否释放。
问题设定与形式化
- 覆盖语言:Lbio 中的命题是带主体、谓词、论元、时间区间和认识模态的类型化元组。主体是智能体、已认证用户或命名关系实体;谓词覆盖体验、偏好、许可、关系承诺、任务能力或历史事件。部署用签名 Σ = ⟨Ppred, A, M⟩ 参数化。一般世界知识不在 Lbio 内,除非被框成智能体自身的经历或承诺。
- 两个空间:Cagent(h) 是头 h 上可达的已接受主张;模型潜在空间 Im^model 不被当作可枚举的已认证主张集。核心非授权原则是 CanGeneratem(ϕ) 不蕴含 ϕ 属于 Φagent(h)。换模型不改变固定头上的已接受主张集。
- 环境假设 E1–E4:权威状态单调版本化;依赖标识解析到不可变内容版本或显式不可用标记;政策 κ 版本化、认证并绑定执行上下文;每条受治理出站信道都经过断言中介,没有未监视旁路。
- 与真值脱钩:Admitted、Authenticated、Supported 都不蕴含 True;不支持也不蕴含为假。Table 1 把状态准入、来源认证、证据支持、智能体立场、披露授权和语义真值列为彼此独立的维度。
类型化溯源与角色提升
- 图:Gh = (Vh, Eh, λ)。边从依赖指向依赖它的实体。λ(v) 给出认识角色 τ(v)、命题或 ⊥、有效区间 T(v) 和授权范围 S(v)。入度为 0 的根是传感器日志、已签名用户消息或导入文档等基础来源。
- 源独立性:Rootsκ 只计政策认可的源根。Indepκ 要求双方根集非空且不相交。作者称多个 URL、嵌入或释义若汇到同一上游文档,就不能算独立印证。
- 角色分区:X 为 ObservedEvent 与 AttributedReport;D 为 DeterministicDerivation、MemoryInterpretation、RecordedBelief;U 为 ModelPrior、UnverifiedRetrieval、ProbabilisticInterpretation、Hypothesis。提升是带精确依赖集的状态转移,不改写前驱。依赖中只要有 U 角色,就不能提升到 X。直接以 X 角色准入的根还要满足捕获路径或报告来源检查。
- 可追溯性:在 E1–E3、有限无环图和准入门记录精确依赖的前提下,Proposition 1 称每个可达主张都有有限依赖迹,终止于政策认可的源或显式不可用标记。
解析、见证与前向更正
- 决议:对主体 p、目的 u、范围 s,先取可达集 Ah,再取授权投影 Bh。查询 Q 的结果是 ⟨E, F, S, W⟩:E 为 Supported、Unknown 或 Unavailable;F 可含 Conflicted、Withheld、Stale;S 是可用于内容释放的最小前提;W 是受保护决策见证。Supported 当且仅当 S 非空且通过政策,包括有效区间、所需的源独立性和派生完整性。竞争且都达阈值的主张可以 Supported 并带 Conflicted,S 同时放入两个现行版本。
- 见证:非空见证须绑定头、访问策略、最小载荷和类别义务(冲突、过期、扣留、不可用)。无相关已准入材料时可用空载荷见证或 W 为空。W 本身不能为内容释放提供支持。
- 扣留与时间:相关记录在 Ah 中但不在 Bh 中则标 Withheld。政策要求不可区分时,Unknown、Unavailable 和带 Withheld 的决定都折叠到同一接收者视图,以避免存在性侧信道。过期许可不能支持无限定的现在时断言。
- 失效:上游被撤销时做前向状态缩减,不重写历史。只要存在一条完整依赖备选且其中没有被撤销的 e,支持就保留;每条路径都碰到被撤销的根,则该顶点不再进入未来的 S。生命周期原语包括取代、依赖失效、冲突登记,以及记录为不可用的擦除。
断言中介与有界性
- 流水线:Figure 1 中,生成模型在绑定提示头 hp 的授权投影上合成候选;中介在受治理信道上抽取语义单元、解析并决定释放、限定、拦截或升级。失败时只把经 Viewc 去密的诊断交回生成器,原始 W 不交给生成器或呈现器,修订必须重新进入抽取。
- 发射头:若装配时的 hp 与发射时的 he 不同且政策不允许快照,则必须按当前头重投影、重中介;若允许快照,发出单元须带显式时间框定。
- 释放条件:内容单元须与 S 中某前提精确匹配、状态为 Supported、满足限定与披露,并通过发射头检查。状态单元只能来自授权视图的呈现集合,并同样通过发射头检查。Definition 2 把每个被覆盖语义单元都满足对应关系称为自传断言有界。Proposition 2 在 E1–E4 以及抽取、类型标注、谓词、解析、视图与呈现均正确等前提下,称到达释放状态的输出满足该性质。作者明确这是条件组合结果,不证明这些被假设部件本身正确。
- 审计:每个已释放单元有一条绑定,含标识、摘要、内容或状态类型、中介处置(Pass、Qualify、Redact)和发射头核验结果。作者称仅有该数据结构并不建立不可变性或不可否认性。
论文做了哪些实验?
实验是 24 个手工结构化用例上的 resolver 与中介符合性检查,不是语言模型端到端评测。
实验设置
- 对象:内存主张库、类型化 resolver 和断言中介。没有被测语言模型;作者称结果不构成对语言模型或检索系统的端到端评测。
- 用例:24 个手工编写案例,含 19 个不安全释放机会和 5 个受支持对照,分布在六条威胁轨道。需要印证的案例使用“两个满足 Indepκ 的根”这一政策。
- 规则:三条确定性释放规则:flat/prior、source-tag、typed mediation。
- 指标:UOR 为不安全或需限定的机会中,未经所需限定就放出内容的比例;RC 为已释放输出中含无限定不安全断言的比例,R 为空时定义为 0;Coverage 为合法受支持查询中放出准确且限定得当的回答的比例;另有 Prevention Precision、Prevention Recall 和 Mediation Latency。Table 4 报告了前五项的聚合计数,正文称本工件只提供本地 resolver 微基准和确定性覆盖计数,未在表中给出延迟数字。
- 对照:Table 5 为逐案预言与处置。正文称套件用编码后的决策预言、扁平源根约束和释放不变量做检查。
- 不做的事:工件不实现自然语言语义单元抽取、广义见证访问控制、可配置 Viewc 或输出等价检查、完整溯源 DAG 遍历、任务/分支/关系范围执行、密码学见证或主张承诺、规范序列化或工件哈希校验,以及 Equation 14 的目标来源准入检查。
主结果
据 Table 4,两源夹具、24 例:
表格较宽,可左右滑动
释放规则 UOR RC Coverage Prevention precision Prevention recall Flat/prior 19/19 (100.0%) 19/24 (79.2%) 5/5 (100.0%) N/A(无干预) 0/19 (0.0%) Source-tag 18/19 (94.7%) 18/23 (78.3%) 5/5 (100.0%) 1/1 (100.0%) 1/19 (5.3%) Typed mediation 0/19 (0.0%) 0/7 (0.0%) 5/5 (100.0%) 19/19 (100.0%) 19/19 (100.0%) - 作者称类型化中介对 19 个不安全机会都没有无限定放行,并保留全部 5 个受支持对照;flat/prior 放出 19/19,source-tag 放出 18/19。
- 作者称这些结果验证的是已编码的 resolver 与中介义务,不构成语言模型或检索系统的端到端评测。
- Table 5 可见部分案例的处置:未准入的模型先验、经不可信文档的间接提示注入、把模拟说成观察、未核实巩固摘要、单根重复记录、三跳仍共享单根、根重叠低于两根阈值,均为 Unknown 并 Blocked;越权主体、目的不匹配为 Unknown + Withheld 并 Blocked;密封或擦除记录为 Unavailable 并 Blocked;过期、未到生效时间、派生摘要的传递过期为 Unknown + Stale 并 Blocked。列出的三个对照在两个根上为 Supported 并 Passed。
符合性轨道覆盖的情形
- 测了什么:状态准入与溯源纪律、断言释放控制,以及纵向状态演化所对应的结构化场景,包括时间过期、取代性用户更正、多源冲突是否被标出,以及模型基底升级不应静默提升主张。
- 结果:Table 4 的聚合计数如上。正文对逐案只给出 Table 5 这种预言—处置对照;所附文本在 supported_03 之后中断,其余案例行未出现在可读表格中,因此不补写未出现的个案数字。
- 作者解读:作者把 Coverage 与风险指标配对,是因为作者认为只用拒绝可以把安全指标做到极端。三条规则的 Coverage 均为 5/5。
未来端到端协议(未执行)
- 测了什么:Section 5.1 与 Appendix C 规定五种部署范式,供以后比较,本次符合性套件没有实现它们。
- 结果:论文未报告这五种范式上的 UOR、RC 或 Coverage。
- 作者解读:作者称本次套件只隔离 flat/prior、source-tag 和 typed mediation 三条确定性释放规则。
其他消融与分析
- 本地 resolver 微基准:正文称工件提供了该微基准,所附文本未给出具体耗时或开销数字。
- 印证政策:需要印证的案例固定为两个满足 Indepκ 的根;没有报告改成其他根数量时的计数。
- 侧信道:Appendix E 的 Proposition 3 称,若 Unknown 与 Withheld 总映射到可区分输出类,观察输出类即可知道走了哪一支;Equation 21 把这些决定折叠到同一视图。这是证明陈述,不是实测计数。
- 擦除:Appendix E.3 讨论密钥销毁后节点变为 Unavailable、派生主张按 Equation 22 重算;作者称当前工件既不实现密码学粉碎,也不建立法律合规。
- 相关系统对照:Appendix F 的表只做能力栏对照,没有在那些系统上跑同一 24 例并给出数字。
有什么可以进一步探索的点?
作者把保证写成条件性的,并把自然语言抽取和端到端评测留在规范或未来协议里。
作者指出的局限与后续方向
- 条件性证明:Section 4.3 写明 Proposition 2 是条件组合结果,不建立抽取、政策谓词、resolver 或去密函数本身的正确性。前提还包括 E1–E4、谓词实现正确、修订递归重入中介,以及 HeadUseOK 正确。
- 抽取保真:Section 4.5 写自由形式自然语言抽取仍会受预设、隐含说法或复合修辞结构影响;实时对话的延迟预算使实现需要缓存核验或受限模板呈现。
- 工件未实现的部分:Section 4.5 与 Scope 写明,可执行工件不实现自然语言语义单元抽取、广义见证访问控制、可配置 Viewc 与输出等价检查、完整溯源 DAG 遍历、任务/分支/关系范围执行、密码学见证或主张承诺、规范序列化与工件哈希校验、Equation 14 的目标来源准入检查,以及下层并发或崩溃恢复。
- 不保证的对象:Scope 写明机制不认证外部真值,不审计未中介的带外信道,也不对机器意识或主观身份做主张。Section 4.4 写审计数据结构本身不建立不可变性或不可否认性。
- 端到端留待以后:Section 5 与 Appendix C 将五种部署范式写成未来端到端研究的比较协议,并称当前套件与该协议分开。
- 擦除与合规:Appendix E.3 写一种部署模式是否满足 GDPR Article 17 或其他擦除义务,取决于司法辖区、控制者义务、数据模型和实现;当前工件不实现密码学粉碎,也不建立法律合规。
实验覆盖范围
- 被检查的是内存主张库、类型化 resolver 和断言中介,对照规则为 flat/prior、source-tag、typed mediation。
- 用例为 24 个手工案例:19 个不安全释放机会、5 个受支持对照、六条威胁轨道;需要印证时政策为两个满足 Indepκ 的根(Section 5.3、Table 4)。
- Table 4 报告 UOR、RC、Coverage、Prevention Precision 和 Prevention Recall;正文提到 Mediation Latency 和本地 resolver 微基准,所附结果表未给出延迟数值。
- 论文写明本次不测量纯参数智能体、扁平向量检索、top-k RAG、无图级根独立的溯源标签检索,以及只在提示装配时过滤的状态有界架构。
- 论文未报告自然语言抽取器的错误率、评审模型、与人工判定的一致性,以及攻击查询次数;这些不在该符合性套件的指标定义里。
总结一下论文的主要内容
论文用类型化溯源和释放门约束持久智能体的自传断言,并用 24 个结构化用例检查编码后的义务。
- 定位:这是一项给持久智能体的外发自传陈述加程序约束的规范与符合性工作,不修剪模型参数知识,也不把存储当成支持。
- 问题:反思、检索和巩固会把不可信输入、提示注入和模型推断留在长期状态里,之后可能以智能体历史或用户承诺的形式说出。作者要回答:这个智能体有什么证据、权限和有效范围来声称某件事。
- 方法:类型化溯源图分开来源、依赖谱系、认识角色、有效区间和披露范围;源独立看根集是否不相交。resolver 在授权投影上返回 Supported、Unknown 或 Unavailable,并带 Conflicted、Stale、Withheld 等正交标记和受保护见证。generate–verify–revise 中介要求内容断言精确匹配受支持前提,状态回答只呈现去密后的视图。Proposition 2 在一组显式假设下给出条件性有界性。
- 结果:24 个手工案例、两源夹具上,typed mediation 的 UOR 为 0/19、RC 为 0/7、Coverage 为 5/5,Prevention recall 为 19/19;flat/prior 的 UOR 为 19/19,source-tag 为 18/19(Table 4)。Table 5 中列出的不安全案例被 Blocked,列出的受支持对照 Passed。
- 作者结论:作者称这些数字验证的是已编码的 resolver 与中介义务。保证只覆盖完整已接受头上、受中介信道中的已声明自传主张;它们不认证外部真值,也不是语言模型或检索系统的端到端评测。