超越补丁:用控制门控的良性探针重构 LLM 智能体框架中不完整修复的补丁绕过
Beyond the Patch: Reconstructing an Incomplete-Fix Patch Bypass in LLM Agent Frameworks with Control-Gated, Benign Probes
作者提出控制门控的良性探针重建法,在 PraisonAI 4.6.31 上复现了官方认定的 CVE-2026-40287 补丁绕过(CVE-2026-44334)。
- CVE 补丁后重放原始 PoC 只能回答触发器是否被堵,不能证明同一不变量在其他可达路径上仍成立;作者关注补丁不完整时公告仍标“已修复”的问题。
- 提出控制门控的三态重建法:B0 重放原始触发器,M 经独立的同仓库兄弟路径探测同一不变量,良性观察器记录效果,正向授权控制未通过则判 INCONCLUSIVE。
- PraisonAI 4.6.31 上 B0 报 NO_VIOLATION_OBSERVED 而 M 报 VIOLATION,复现官方认定的补丁绕过 CVE-2026-44334;另完成 Langroid、Agno、CrewAI 五个前后版本重建,14 个故障注入场景均符合预期。
- 作者称同版本 B0≠M 分歧仅在 PraisonAI 一个边界上得到演示;PraisonAI 探针直接调用加载器函数而非完整 HTTP 链;路径限制类案例仅在 Windows 运行;无第三方独立复现。
- 威胁模型
- 攻击者影响到达框架边界的输入(工具名与参数、被求值表达式、文件路径、表面发送者),与间接提示注入和不可信内容场景一致;攻击者不能修改框架源码。研究者测量框架是否执行不变量,不测量模型发出恶意输入的频率。
- 基准
- PraisonAI tool loading (CVE-2026-40287 / CVE-2026-44334)Langroid file tools (CVE-2026-50181)Langroid pandas_eval (CVE-2026-54769)Langroid dispatch (CVE-2026-54771)Agno PythonTools (CVE-2026-76832)CrewAI FileWriterTool (CVE-2026-37007)
- 指标
- tri-state verdict (VIOLATION / NO_VIOLATION_OBSERVED / INCONCLUSIVE)
论文提出一种良性、控制门控的重构方法,在四个 LLM 智能体框架和四类安全不变量上开展试点研究,指出补丁后仅重放漏洞原始 PoC 无法确认安全不变量在其他代码路径上仍成立。在 PraisonAI 4.6.31 上,原始工具加载触发已被拦截,但 tool_override 路径仍违反不变量,复现了公开记录的 CVE-2026-44334 对 CVE-2026-40287 的绕过;4.6.32 上两条受测路径均未观察到违反。作者还在 Langroid、Agno 和 CrewAI 上完成五组修复前后重构,其中 CrewAI 在所测的 1.11.0 版本观察到违反、1.11.1 中该行为受到约束,且不声称这是最早修复版本。每次运行以授权控制呈阳性为门控,报告违反、未观察到违反或不确定三种判定,14 个用于验证测试框架的场景均得到预期判定。
深度解读
这篇论文试图解决什么问题?
补丁后重放原始 PoC 不足以证明边界不变量在所有可达路径上恢复,作者提出控制门控的良性探针重建法检验这一点。
核心问题:漏洞补丁后重放原始 PoC 只能回答“上报的触发器是否还能触发”,不能证明底层安全不变量在到达同一边界的每条代码路径上都成立。
- 场景与重要性:LLM 智能体框架把模型和攻击者影响的输入路由到文件访问、表达式求值、工具分发等经典软件边界;作者引用一篇 PRISMA 综述称行动层漏洞(工具滥用、代码注入、沙箱逃逸)只占论文的 4.7%。补丁实证文献显示初始补丁可能未完全消除漏洞,Linux 内核研究编目了数千个不完整修复。
- 现有做法的不足:作者认为公告记录修复版本、PoC 记录触发器,但触发器不再触发本身不能说明不变量在所有路径上成立;PraisonAI 是文献记载的例子——CVE-2026-40287 的修复给两个工具加载汇点加了 opt-in 门,却漏了 templates/tool_override.py 中的等价汇点,后被编目为 CVE-2026-44334(“CVE-2026-40287 patch bypass”)。
- 核心观察:智能体框架边界经多条代码路径到达(本地工具加载器与模板覆盖加载器、默认净化求值器与可信模式求值器、读工具与写工具),堵住上报路径可能留下兄弟路径。
- 论文提出什么:一个小型控制门控重建方法加试点研究,比较原始触发器重放(B0)与兄弟路径探针(M),每次运行输出三态判定,良性探针不执行真实载荷。
- 威胁模型:
- 目标:测量框架在攻击者影响的输入到达时是否执行边界不变量。
- 知识:攻击者影响到达边界的输入——工具名与参数、被求值表达式、文件路径或表面发送者;与间接提示注入和不可信内容场景一致。
- 能力:攻击者不能修改框架源码;作者不测量模型发出此类输入的频率。
- 受害系统:PraisonAI、Langroid、Agno、CrewAI 四个框架的工具加载、表达式求值、文件工具与分发边界。
有哪些相关研究?
相关工作分四组:补丁不完整实证研究、智能体攻击面系统化、防御失效分类、工具与协议层威胁模型;作者称贡献与它们正交。
补丁不完整的实证研究
- [1](arXiv:2607.13206, 2026)——开源软件漏洞多次补丁的实证研究,指出初始补丁可能未完全消除漏洞或引入新漏洞;并规定好的修复测试应检查“PoC 不能再触发且正常功能保留”。
- [2](arXiv:2511.17799, 2025)——Linux 内核不完整安全修复的特征、根因与检测研究,编目了数千个各需后续修复的不完整修复。
智能体 LLM 攻击面的系统化
- [3](arXiv:2608.10530, 2026)——关于智能体 LLM 漏洞理解、识别与缓解的 PRISMA 综述,作者引用其发现:行动层漏洞只占论文的 4.7%。
- [4](arXiv:2603.22928, 2026)——智能体 LLM 安全系统化综述,作者引用其观点:工具桥在 schema/校验薄弱时暴露经典漏洞(代码执行、路径穿越、SSRF)。
防御失效分类
- [5](Ji et al., arXiv:2511.15203, 2025)——以间接提示注入为中心的 LLM 智能体防御框架的分类、评测与利用,作者称其将不完整隔离列为反复出现的缺陷。
威胁模型
- [6](Ferrag et al., arXiv:2506.23260, 2025)与 [7](arXiv:2601.17548, 2026)——从提示注入到协议利用、针对智能体编程助手的提示注入攻击;作者称这些工具与协议层威胁模型启发了本文的攻击者模型。
基线与基准:本文无对比基线方法;评测对象是六个真实 CVE 边界(Table I),对照是同一探针在修复前后版本上的判定(B0 重放 vs M 探针)。
作者定位:贡献与新攻击或新防御正交——它是一种检查修复是否恢复边界不变量的方法和相应测量;相对标准安全回归测试,所依赖的具体要素是强制正向控制(兼作可达性证据)和显式的“独立路径 vs 输入变体”标注,作者明确称不主张这些要素是新技术。
论文如何解决这个问题?
控制门控三态重建:B0 重放原始触发器、M 走独立兄弟路径,良性观察器记录效果,正向控制未通过则判 INCONCLUSIVE。
整体思路:对每个边界在固定版本上运行良性探针——一个仅当不变量被违反时才成功的动作——并配一个同边界的授权正向控制;控制门控保证“边界对所有输入都抛错”不会被误判为已修复。
对象与判定
- 探针与控制:探针是良性动作(读工作区外种植的文件、在被求值表达式内解析 __import__),正向控制是同一边界上必须成功的授权动作。
- 三态判定:
verdict(b,v) = \begin{cases} \text{INCONCLUSIVE} & \text{control fails} \\ \text{VIOLATION} & \text{control ok} \land \text{effect seen} \\ \text{NO\_VIOLATION\_OBSERVED} & \text{control ok} \land \text{no effect} \end{cases};即控制失败一律 INCONCLUSIVE,控制通过且观察到效果为 VIOLATION,控制通过且无效果为 NO_VIOLATION_OBSERVED。 - 语义约束:NO_VIOLATION_OBSERVED 只表示“在该探针、版本、配置下未观察到违反”,不是安全性证明;作者避免使用“complete fix”“certifies”“secure”。
逐路径门控与 harness 验证
- 逐路径门控:每条路径由自己的正向控制门控;PraisonAI harness 写两个标记(reached sentinel 与 effect marker),汇点执行但效果未观察到(如种植代码抛异常)报 INCONCLUSIVE。
- 隔离与防陈旧:每次测量在独立进程运行以避免模块缓存和环境变量泄漏;观察基于 token——每次运行的新 token 须匹配标记内容,遗留标记不算效果。
- 故障注入套件:同一判定模块在 14 个场景下测试(2 个健康场景、12 个故障场景,含控制失败、缺失入口、观察器失败、两类陈旧标记、空记录、类型错误布尔、版本错误、子进程失败等),作者报告全部产生预期判定。
B0 与 M 的区分
- B0:重述公开 PoC 的原始路径。
- M:通过仓库内独立的兄弟路径(兄弟加载器或第二个工具动作)到达同一不变量,靠读源码选取而非变异 PoC 字符串;作者区分“独立代码路径”(理想情况下有自己的 CVE 溯源)与“同一路径的输入变体”,并逐案标注(Table I)。
良性效果观察器
- 三种观察器:记录惰性 handler 是否被调用的内存标志;目标目录外的唯一命名文件系统哨兵;解析 __import__ 但不调用的 builtins 可达性检查。
- 良性约束:探针种植惰性标记模块或惰性工具对象;加载会执行良性 Python,但任何探针都不发起网络连接、不派生子进程、不运行载荷。
重建协议
- 读公告并在源码中定位修复改动。
- 固定最后受影响与首个修复版本,对照包索引和版本控制历史核实。
- 每个版本装入隔离解释器,运行探针与正向控制,打印实际导入的包版本。
- 记录判定与原始输出。
语料与环境
- 语料:Table I 列出 6 个边界、4 个框架、4 类不变量;属有目的抽样而非随机抽样,选取标准是 2025–2026 年有可离线重建、可固定前后版本对的 CVE;只有 PraisonAI(B1)提供有自己 CVE 的独立第二路径,其余五个为同一路径上的输入变体前后重建。
- 环境:每版本独立虚拟环境;六边界语料在 Windows 上 CPython 3.12 下运行;修正后的 PraisonAI 矩阵及故障注入套件另在 Linux(Ubuntu 24.04)CPython 3.13 下复现相同判定,praisonaiagents 固定 1.7.23。
论文做了哪些实验?
PraisonAI 4.6.31 上 B0 报已修复而 M 报 VIOLATION,复现官方认定的补丁绕过;另有五个前后版本重建、14 个故障注入场景和一项修复溯源。
实验设置
- 被测对象:四个智能体框架的六个安全边界(Table I):PraisonAI 工具加载(B1)、Langroid 文件工具(B2)、Langroid pandas_eval(B3)、Langroid 分发(B4)、Agno PythonTools(B5)、CrewAI FileWriterTool(B6);均为框架版本对而非模型。
- CVE 与版本对:B1 为 CVE-2026-40287/CVE-2026-44334(4.5.139、4.6.31→4.6.32);B2 为 CVE-2026-50181(0.63.0→0.64.0);B3 为 CVE-2026-54769(0.65.1→0.65.2,full_eval=True);B4 为 CVE-2026-54771(0.65.2→0.65.3);B5 为 CVE-2026-76832(2.3.23→2.3.24);B6 为 CVE-2026-37007(1.11.0→1.11.1)。
- 指标:三态判定 VIOLATION / NO_VIOLATION_OBSERVED / INCONCLUSIVE,NO_VIOLATION_OBSERVED 仅在同一运行中正向控制通过时采纳。
- 判定方式:良性观察器(内存标志、文件系统哨兵、builtins 可达性检查)加逐路径正向控制;无 LLM 评审。
- 环境:六边界语料在 Windows/CPython 3.12 运行;PraisonAI 矩阵与故障注入套件在 Linux(Ubuntu 24.04)/CPython 3.13 复现,判定一致。
- 样本量:每边界每版本一次测量(独立进程);论文未报告重复次数。
主结果
据 Figure 2 与 §V-A/§V-B:
表格较宽,可左右滑动
边界 路径 修复前版本:判定 中间版本:判定 修复后版本:判定 PraisonAI 工具加载(B1) B0(CVE-2026-40287 原始触发器) 4.5.139:VIOLATION 4.6.31:NO_VIOLATION_OBSERVED 4.6.32:NO_VIOLATION_OBSERVED PraisonAI 工具加载(B1) M(tool_override,CVE-2026-44334) 4.5.139:VIOLATION 4.6.31:VIOLATION 4.6.32:NO_VIOLATION_OBSERVED Langroid 文件工具(B2) 输入变体 0.63.0:VIOLATION — 0.64.0:NO_VIOLATION_OBSERVED Langroid pandas_eval(B3) 输入变体(full_eval=True) 0.65.1:VIOLATION — 0.65.2:NO_VIOLATION_OBSERVED Langroid 分发(B4) 输入变体 0.65.2:VIOLATION — 0.65.3:NO_VIOLATION_OBSERVED Agno PythonTools(B5) 输入变体 2.3.23:VIOLATION — 2.3.24:NO_VIOLATION_OBSERVED CrewAI FileWriterTool(B6) 输入变体 1.11.0:VIOLATION — 1.11.1:NO_VIOLATION_OBSERVED - 作者解读:PoC 重放视角会在 4.6.31 报告 PraisonAI 边界已修复,不变量引导视角则不会;CVE-2026-44334 的独立编目佐证该残留是真实、被生态认定的漏洞。
- 门控溯源:作者从 PyPI wheel 直接提取 tool_resolver.py,显示 opt-in 守卫在 4.5.139 缺失、在 4.5.140 与 4.6.31 存在(PRAISONAI_ALLOW_LOCAL_TOOLS 文本出现次数分别为 0、3、3);作者指出公告谱系把 4.5.139 标为修复版,比守卫实际出现的版本早一个补丁版,称此为元数据/产物不一致。
- 可达性证据:opt-in 开启时每条路径都执行模块并写两个标记,作者称这确认探针到达真实汇点。
端到端可达性验证(B3、B4)
- 测了什么:对 B3、B4 另驱动完整输入解析管线——把内容为工具 JSON 的攻击者形态 ChatDocument 传给 agent 正常的 handle_message,由其解析并分发,无预注入对象。
- 结果:端到端判定与边界级一致(B3:0.65.1 VIOLATION、0.65.2 NO_VIOLATION_OBSERVED;B4:0.65.2 VIOLATION、0.65.3 NO_VIOLATION_OBSERVED),正向控制全程通过。
- 作者解读:作者称这确立了攻击者控制的输入能到达补丁后的汇点,而非仅在直接调用时行为正确;注入式探针保留为更快的等价物。
修复溯源(CrewAI,CVE-2026-37007)
- 测了什么:该 CVE 记录只引用修复 commit(crewAIInc/crewAI 713fa7d)、无修复包版本;第三方数据库推断受影响范围为“≤1.10.2rc1”。
- 结果:在 1.11.0(1.10.2rc1 之后的稳定版)FileWriterTool._run 仍直接拼接攻击者控制的文件名,运行判 VIOLATION;限制检查首现于 1.11.1,判 NO_VIOLATION_OBSERVED。作者称第三方推断不正确,但不主张 1.11.1 是最早修复版(未测每个中间预发布版),也不主张官方元数据有误。
- 后续:作者计划通知维护者与聚合方;论文称投稿时未发送任何报告、未获确认。
其他消融与分析
- 故障注入:14 个场景全部产生预期判定——所有真正损坏的条件报 INCONCLUSIVE,被阻陈旧标记报 NO_VIOLATION_OBSERVED,覆盖写场景报 VIOLATION(§III、§V-A)。
- Agno 二次 corroboration:在真实 Agno 边界上人为制造四种损坏条件(错误包导入、强制控制失败、不可达汇点、固定名陈旧标记),前三种各报 INCONCLUSIVE,陈旧标记场景暴露了非唯一哨兵会造成的假 VIOLATION(§VII)。
- 配置相关观察:作者在更早的 Langroid 版本(0.59.31、0.59.32)上以 full_eval=True 观察到违反,但不计为不完整修复——早期公告(CVE-2025-46724、CVE-2026-25481)针对的是默认模式净化器这一不同配置(§VI)。
- 排除案例:LlamaIndex 的 encode_image 路径穿越公告(记录修复于 llama-index-core 0.12.41)中,被引函数在 0.12.40 与 0.12.41 间字节相同;作者称字节相同不能证明补丁无效(改动可能在调用方、辅助函数或打包中),故将该案例记为未决并排除出语料(§V-C)。
有什么可以进一步探索的点?
作者列出非违反判定的语义边界、单案例分歧、直接调用、平台限制等局限;实验覆盖四个框架六个边界,无第三方复现。
作者指出的局限与后续方向
- 非违反判定的含义(§VII):NO_VIOLATION_OBSERVED 只表示“在该探针、版本、配置下未观察到违反”,更强的探针可能发现更弱探针漏掉的绕过。
- 同版本分歧仅一例(§VII):B0≠M 主张只在 PraisonAI 一个边界上演示;其余五个是前后重建而非兄弟路径分歧,作者称核心主张是案例研究加支持性测量,不是推广。
- 直接调用(§VII):PraisonAI 探针直接调用文档记载的加载器函数并种植 tools.py 作为测试设置,确立的是该设置下的边界行为,而非公告描述的完整 HTTP 请求到服务器的利用链;B2、B5、B6 也是直接工具 API 调用。
- harness 保证有界(§VII):控制门与 14 场景故障套件表明所测损坏条件都报 INCONCLUSIVE,但这是证据而非“不存在能产生假非违反的损坏条件”的证明。
- 判定保守性(§VII):把失败的正向控制映射为 INCONCLUSIVE 可能在无关依赖失败时压制一个直接观察到的违反,作者为避免假非违反接受这一保守偏差。
- 平台与复现(§VII):路径限制类案例(B2、B5、B6)仅在 Windows 运行,符号链接与路径语义在其他平台不同;作者称 Linux 复刻留作未来工作(宿主机 WSL 的 Python 版本与固定的框架版本不兼容)。所有运行均为作者本人(AI 辅助)在自己的两个环境完成,无独立第三方复现。
- 配置范围(§VII):B3 在 full_eval=True 下测量,判定不迁移到默认模式。
- 待通知事项(§V-C、§IX):作者计划就 CrewAI 修复版本精度通知维护者与聚合方,投稿时未发送;另有一个未修复的 PraisonAI 兄弟汇点(agents_generator.py)已公开记录,作者未为其构建探针,称任何检查将在隔离环境中走协调披露。
实验覆盖范围
- 被测对象:四个框架(PraisonAI、Langroid、Agno、CrewAI)的六个边界、四类不变量(加载门控、路径限制、eval-globals、发送者验证),均为有目的抽样而非随机抽样(§IV)。
- 路径类型:仅 B1 是有独立 CVE 溯源的真正独立代码路径;B2–B6 为同一路径上的输入变体探针(Table I)。
- 端到端验证:仅 B3、B4 经真实输入解析管线驱动;B2、B5、B6 为直接工具 API 调用(§VII)。
- 运行环境:六边界语料在 Windows/CPython 3.12;PraisonAI 矩阵与故障套件在 Linux/CPython 3.13 复现(§IV、§VII)。
- 未报告项:论文未报告每次测量的重复次数、分析者耗时或运行耗时(§VI 明确称不做定量成本主张);未在操作系统级网络/进程监控下运行,“无网络/无子进程”描述的是探针的写法而非监控测量(§IX)。
总结一下论文的主要内容
一篇方法加案例研究:控制门控良性探针重建法复现了 PraisonAI 官方认定的补丁绕过,并完成五个前后版本测量。
这是一篇“方法 + 案例研究”式试点论文,关注 LLM 智能体框架安全补丁的验证缺口。
- 问题:CVE 公告记录修复版本、PoC 重放只检查上报触发器是否仍可复现,两者都不能确立边界不变量在每条可达路径上恢复;PraisonAI 的 CVE-2026-40287 修复漏掉 tool_override 等价汇点、后被编目为 CVE-2026-44334,是文献记载的实例。
- 方法:控制门控三态重建——B0 重放原始触发器,M 经仓库内独立兄弟路径探测同一不变量;良性观察器(内存标志、文件哨兵、builtins 可达性)记录效果;正向授权控制未通过则判 INCONCLUSIVE,NO_VIOLATION_OBSERVED 不视为安全性证明。
- 核心结果:PraisonAI 4.6.31 上 B0 报 NO_VIOLATION_OBSERVED 而 M 报 VIOLATION,复现官方认定的“CVE-2026-40287 patch bypass”,两条路径在 4.6.32 均关闭(Figure 2、3)。
- 支持性测量:Langroid(文件工具、pandas_eval、分发)、Agno、CrewAI 五个前后版本重建均呈“修复前 VIOLATION、修复后 NO_VIOLATION_OBSERVED”;B3、B4 另经真实输入解析管线端到端验证,判定一致。
- 修复溯源:对无修复版本记录的 CVE-2026-37007,作者在 crewai-tools 1.11.0 观察到 VIOLATION、1.11.1 观察到限制,称第三方“≤1.10.2rc1”的推断不正确。
- 作者结论:作者称该方法的价值在于提供一个有判别力的检查——修复是否恢复了不变量——并捕捉到 PoC 重放和公告标签漏掉的残留;同时明确同版本分歧仅演示一例、不估计流行率、不主张是新的测试技术。