Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2609.35266· Guy Lupo, Nguyen Hung Nguyen, Viet Vo, M. A. P. Chamikara, Guangdong Bai, Nazatul Haque Sultan, Alsharif Abuadbba·Indexed by this site · Originally published

面向软件交付决策门禁的智能体安全审计器持续保障机制

Continuous Assurance of Agentic Security Auditors for Software Delivery Decision Gates

Quick read

Other

Based on 论文 PDF (AI 生成); refer to the original

对保留的RepoAudit证据,TAIP单Context最大1.1ms,千Context单worker最大1.62s。

Questions
LLM仓库审计器进入CI后,发现可以影响合并,但模型与运行变化会改变证据,策略变化会改变解释。时点审计给不出交付门预算内、与当前上下文绑定的保证裁决。
Methods
策略、证据与执行分开。TAIP以版本化Posture Tree绑定可采信证据,用稳定的TEVV聚合为姿态卡;策略或上下文变化时重算,不必改引擎,也不必重跑RepoAudit。等待超时则为Inconclusive,后果由策略选择。
Experiments and results
未修改RepoAudit在Python空指针玩具基准上保留80次执行。单Context三轮策略周期最大1.1ms;1000个Context、单worker最大聚合刷新1.62s,低于5s预算。计时不含审计器执行和供应商推理。
Limitations and future work
作者称样本最大值不是最坏时限,单机结果不含分布式与生产编排,也未测增量重算、对照引擎和检测准确率。后续包括更多控制与任务、畸形或对抗证据,以及误挂起和Inconclusive的流程影响。
Experimental setupPython null-pointer-dereference toy benchmark · time-to-posture、policy-to-posture latency et al.
Benchmarks
Python null-pointer-dereference toy benchmark
Metrics
time-to-posturepolicy-to-posture latencyaggregate refresh
AI summary针对基于 LLM 的仓库审计器在 CI 流水线中作为安全控制时因非确定性行为和策略变化难以维持即时保障的问题,研究者提出 Policy-Evidence-Execution Separation Pattern,并由 Trustworthy AI Posture(TAIP)Assurance Engine 以 Continuous Control Posture Assurance(CCPA)方式运行,将策略与稳定执行分离、把被采纳证据绑定到版本化 Posture Tree。该单主机测量仅覆盖对留存证据的保障,不含 RepoAudit 执行与模型推理。

针对基于 LLM 的仓库审计器在 CI 流水线中作为安全控制时因非确定性行为和策略变化难以维持即时保障的问题,研究者提出 Policy-Evidence-Execution Separation Pattern,并由 Trustworthy AI Posture(TAIP)Assurance Engine 以 Continuous Control Posture Assurance(CCPA)方式运行,将策略与稳定执行分离、把被采纳证据绑定到版本化 Posture Tree。该单主机测量仅覆盖对留存证据的保障,不含 RepoAudit 执行与模型推理。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    时点审计无法在合并门预算内,对非确定的智能体审计控制给出当前策略裁决。

    LLM仓库审计器能准入或阻断合并时,时点审计无法在门控预算内维持与当前配置和策略绑定的裁决。

    • 场景:作者称其发现可影响合并,故成为Agentic SDLC Security Control。RepoAudit以模型引导的探索、记忆、数据流推理和路径验证做仓库级缺陷发现,行为部分非确定。
    • 稳定假设不再可靠:确定性静态分析器在二进制、规则集、范围或环境改变前,较早评估可保留。名称不变时,供应商仍可能换模型、改路由、限流或降级,流水线却可能看到看似成功的运行。
    • 现有方法:生命周期审计是阶段性的并依赖人工判断;运行时控制针对单次操作;溯源记录证据但不判断当前是否可采信。作者称因此给不出交付门预算内、与上下文绑定且持续重算的裁决。
    • 两类变化:技术事件改变证据,如模型、路由、仓库、提示词、验证器、运行条件或证据窗口。策略事件改变解释,如风险偏好、建议或阻断、供应商限制、留存、辖区与数据主权。预算耗尽则为Inconclusive,后果由策略决定。
    • 机制:Policy–Evidence–Execution Separation Pattern,由Trustworthy AI Posture(TAIP)实现,并以Continuous Control Posture Assurance(CCPA)运行。可采信证据绑定到版本化Posture Tree,保证逻辑不随模型或策略画像改写。
  2. What related research exists?

    作者按保证层比较既有工作:它们产生证据或局部动作,但不在门预算内发布当前主张裁决。

    比较集中在保证层:证据是否绑定当前上下文和策略,能否聚成一个当前主张决定,能否表示没有可辩护决定,以及能否在SDLC门预算内返回。

    生命周期审计与动态保证案例

    • 阶段性评审:SMACTR(Raji等,2020)与Ethics-Based Auditing(Mökander等,2021)、capAI(Floridi等,2022)、GAFAI(Markert等,2022)、Z-Inspection(Zicari等,2021)把原则或监管预期组织成范围、产物、测试和报告。作者称重跑这类活动给不出每个受影响合并门上有界的事件到裁决路径。
    • 论证须随系统变化:Donati等(2025)提醒清单完成可能掩盖依赖上下文、不断变化的可信性。Haugen等(2025)与Sabuncuoglu等(2025)强调证据只相对于所支持主张有意义。作者称尚缺的是为一批门实例化论证、在离散事件后重算,并发布带实测延迟的裁决。

    智能体审计与运行时控制

    • 产生发现的审计器:RepoAudit(Guo等,2025)、RFCAudit(Zheng等,2025)、SmartAuditFlow(Wei等,2026)和SpecAuditor(Lin与Chen,2026)自动化不同审计目标。作者称它们通常停在评估审计器自身在当前策略下是否仍适合影响合并门之前。
    • 操作级拦截:AgentSentinel(Hu等,2025)在强制执行前审计被拦截操作,并可本地允许、挂起或阻断。作者称这是控制动作,不是对该控制在当前模型、证据窗口和策略画像下是否充分、有效、可持续的纵向姿态。

    证据设施与持续监控

    • 策略中立的记录:来源图、语义问责模型、AI物料清单和PROV-AGENT支持取证、重放和可审计性(Naja等,2022;Souza等,2025;Radanliev等,2026)。作者称在另一机制选定主张、检查范围与新鲜度并发布门控后果之前,这些记录保持策略中立。
    • 时间先例:NIST AI RMF提供TAIP所用的Test–Evaluate–Verify–Validate词汇;持续监控和态势管理随基础设施变化重算控制状态(Dempsey等,2011;Al-Karaki等,2022;Minkkinen等,2022)。作者称它们未定义非确定SDLC审计器的上下文绑定保证对象、一等Inconclusive,或对照声明等待预算的策略特定门控动作。

    基线与定位

    • 没有运行时对照:RQ2不与人工复核、被动监控或另一姿态引擎比速度。Table 2只列出SMACTR的O(A)和AgentSentinel的O(R+Qλ);作者称这不构成测得加速比。审计条件是Python null-pointer-dereference toy benchmark,控制对象是未修改的RepoAudit。
    • 作者称TAIP不替代Table 1中的工作,而是把其证据转成可治理SDLC决策的当前控制姿态。
  3. How does the paper address this problem?

    TAIP用版本化Posture Tree分开策略、可采信证据和稳定TEVV,变化后重算而不重跑审计器。

    Policy–Evidence–Execution Separation把独立变化的三件事分开:策略规定依赖条件和各姿态后果,证据记录观测、来源和配置,执行施加稳定保证语义。TAIP是引擎,CCPA是围绕未修改RepoAudit的事件循环。

    姿态树与准入

    • 姿态实例:一次姿态含版本化有根树T、策略画像π和当前控制上下文指纹κ。根是可问责主张,内部节点是目标与风险,叶子是控制测试并止于证据接口。树形和绑定是配置;π提供阈值、权重、强制分支、证据窗口和门控后果。
    • 同一接口:每个节点实现assure(n, P, E),返回状态、分数、子结果、证据引用和例外。叶子绑定并核验证据;Composite先求值子节点。
    • 只准入匹配观测:范围、配置、来源、新鲜度和完整性须同时匹配叶子与κ。换模型或证据源改变证据或κ;换风险偏好或主权规则改变树或π;两者都不改ASSURE。根结果为Rr=ASSURE(T,π,B(E,κ)),即只对已准入绑定求值。

    递归TEVV与状态

    • 后序遍历:Test调用或重放范围内控制;Evaluate翻译并准入观测;Verify在叶子或分支应用策略;Validate在根上判断主张是否支持预期的SDLC决策。
    • 分数与状态分开:叶子分数是已准入、取值在0到1的观测的算术平均;内部节点按策略归一化权重对子分数加权,权重和为1。缺必需或不可准入证据为Inconclusive;强制失败或未达阈值为Fail;聚合通过但有非强制例外为Pass with Exceptions;否则为Pass。例外留在根上。
    • 理论增量与实测路径:证据未绑定前保持Inconclusive。上下文变化使不兼容绑定失效,策略变化对兼容证据重算。作者给出增量上界Tinc=O(Δ M+kD),k为受影响叶子数,D为树深。作者称这是理论上界;RQ2强制每Context全量重算,复杂度为O(M+N),且全部Context受影响。

    围绕RepoAudit的实现

    • 进程边界:实验运行器在独立目录调用固定的RepoAudit命令行,保留detect_info.json、dfbscan.log、供应商调用记录、状态、计时和哈希。清单记录仓库、提交、缺陷类别、模型身份、路由、提示词、验证器和证据窗口。TAIP不解析目标仓库,也不选择缺陷。
    • 唯一理解格式的层:repoaudit_adapter.build_bundle把原始输出映射为findings、operations、egress、stability、integrity五类策略中立证据。leaf_evidence.build不编码风险偏好。gate.Context对照κ检查;过期、不完整、完整性失败或不匹配的记录保留但不准入。
    • 单向依赖:树来自objectives.yaml,π来自PolicyProfile。ccpa.Controller在证据、执行、上下文、策略或重放事件后求值,并发布姿态卡、例外路径、计时和CI结果。存活超时发布Inconclusive;由π而不是引擎选择fail-open例外或fail-closed挂起。Figure 2写明策略扇出、失效和重放不需要供应商调用。

    门控事件与接受条件

    • 同一性能量:time-to-posture是从事件准入到本地门接口发布Posture Card的时间。Table 4的触发包括策略变化、新证据、控制上下文变化,以及影响多个Context的广播。
    • 先核对再计时:期望输出不符则不接受耗时。继承过期证据的快速结果不算通过;上下文变化须拒绝继承证据并发布Inconclusive,不得复用先前姿态卡。
    • 预算:门可等待当前姿态。RQ2把Decision Gateway预算在测量前定为5s,并只评时间充分性。
  4. What experiments did the paper conduct?

    单Context最大1.1ms,千Context单worker最大1.62s,均低于预先声明的5s。

    实验设置

    • 控制对象:未修改的RepoAudit,提交160f5bc。模型配置为gpt-4o-mini与gpt-4.1,各执行40次。TAIP是保证引擎,不是被测检测模型。
    • 基准与证据:Python null-pointer-dereference toy benchmark,一个固定审计条件。保留库有80次实况执行、80个运行级Evidence Bundle,含发现、验证器输出、进程遥测、路由后的模型身份、计时、供应商成本、清单、校验和与日志。
    • 环境:隔离单机Python沙箱,Python 3.13.5。无分布式保证服务、外部数据库或独立计算集群。供应商调用只用于取得RepoAudit证据;翻译、准入、姿态计算、重放和规模测量在本地进行。
    • 规模与重复:最多1,000个独立Context,一worker与八worker。每个规模条件重复30次。策略序列是一次执行中的E2、E5、E5b三个策略类周期。八worker还报告较低中位数,即30次中第15个有序时长。
    • 指标:从TAIP接受变化到发布当前门答案的耗时。预算在测量前声明为5s。作者称这些描述统计不建立总体分位数或最坏执行时限。
    • 规模扫描所用证据:每个复制Context使用一份冻结、模式有效的证据包,并有不同指纹。作者称这不代表1,000次同时的实况RepoAudit。姿态状态由引擎规则给出;论文未报告人工或LLM评审。

    主结果

    Swipe horizontally to read the table

    条件规模与重复结果出处
    策略序列E2、E5、E5b1 Context,1次执行中3个周期最大1.1309ms,记为1.1msTable 5、正文
    策略触发的全量重算1,000 Contexts,1 worker,30次最大聚合刷新1616.3ms,记为1.62sTable 5、正文
    八worker全量重算1/10/100/1,000 Contexts,各30次较低中位数1.3/3.9/30.0/288.9msTable 6
    八worker全量重算同上,全部Context受影响最大4.1/180.0/35.3/317.0msTable 6
    • 作者称单Context结果与单worker标题结果都低于预先声明的5s预算,并认为这在所述样本和执行条件下支持时间充分性。计时不含仓库扫描、模型调用和证据收集。
    • 论文未按两种模型配置分别报告这些延迟。Table 5把证据库标为来源证据,不是计时重复。
    • 十Context的最大值高于百Context。作者称该升高值按观测保留,仅凭这些计时不能确定原因。八worker的千Context最大值与单worker标题结果属于不同工作负载;单Context规模格也不同于三周期策略序列。

    当前裁决而非快速的过期答案

    • 接受规则:只有发布了触发变化所要求的状态,计时试验才被接受。
    • 状态:对未变证据施加strict Policy Profile后,根姿态从Pass with Exceptions变为Fail。第4.4节报告模型上下文变化会撤回此前适用的证据并发布Inconclusive,重放被复现。引言称额外实验在上下文从gpt-4o-mini改为gpt-4.1时使前者产生的证据失效,且不重跑底层控制;第4.4节未写明该次检查用的就是这一对模型。
    • 作者的解读:这些检查把延迟绑定到当前保证决定。论文未单独给出失效或重放的毫秒数。

    计时边界与复杂度对照

    • 边界:Table 3写明仅策略重算、失效和重放不需要额外供应商调用。另40次gpt-4.1执行把保留库增至80次;证据获取在计时路径之外。
    • 对照:Table 2列出SMACTR每次再评估O(A)、AgentSentinel O(R+Qλ)、TAIP全量O(M+N)和增量O(ΔM+kD)。作者称这些表达式不建立测得加速比,增量性能和对照加速比未测量。
    • 作者的行业解读:发现、报告和告警本身不能确立证据是否仍适用于当前模型上下文或治理策略。作者同时称实验不确立检测准确率、分布式性能、对照加速比或生产范围适用性。

    其他消融与分析

    • 证据体积增至每模型40次的完整Evidence Window;论文未报告按证据深度分开的刷新时间。
    • 单worker标题结果是受影响工作负载的完成时间,不是平均每Context延迟。
    • 规模扫描不代表检测器多样性,也不代表1,000次并发实况RepoAudit。
    • 作者称原协议的population-tail target未建立。
    • 继承过期证据的快速结果不被接受;论文未给出此类被拒试验的次数。
    • Figure 4图注称较低中位数和观测最大值对应Table 6;正文未另给图上标注数值。
  5. What are some points that can be further explored?

    作者把结论限定为单机保留证据上的描述性时间观测,并把分布式部署和增量重算列为后续。

    作者指出的局限与后续方向

    • 样本是描述性观测:三个策略类周期属于一次执行,每个规模条件30次。作者称所报最大值是样本极值,不是最坏执行时限或未来期限保证;原协议的population-tail target未建立(第4.5节)。
    • 单机边界:实验在一台隔离的Python主机上运行。作者称不提出分布式性能主张;分布式调度、网络延迟、高可用、多主机协调和生产编排留作后续(第4.5节)。
    • 复制Context:由一份冻结、模式有效的Evidence Bundle复制并赋予不同指纹。作者称主张不涉及检测器多样性或1,000次并发实况RepoAudit(第4.5节)。
    • 无对照且范围收窄:没有人工、被动监控或竞争姿态引擎基线,作者称这是有意的。结果限于一个Python NPD条件、一个固定RepoAudit修订、两种模型配置、一种Evidence Window和一个本地环境;评的是姿态重算,不是普遍检测准确率、完整缺陷检测、生产CI可用性、开发者等待体验或反复挂起的组织效果(第4.5节;引言把检测准确率、分布式执行、对照性能和生产规模部署列为后续)。
    • 不能纠正错误来源:可以拒绝过期、不完整或绑定到另一Context的证据,但不能纠正错误基准标签、不正确适配器或不被支持的源发现(第4.5节)。
    • 后续方向:不同智能体安全控制、仓库类型、模型供应商和安全任务;除延迟外,还包括证据准入正确性、对畸形或对抗证据的抵抗,以及误挂起、例外和Inconclusive对开发流程的影响。另一方向是增量、依赖感知重算,并测量企业规模下的延迟和内存(第5.1节)。

    实验覆盖范围

    • 计时在单机Python 3.13.5沙箱进行;RepoAudit为未修改的commit 160f5bc,条件是Python null-pointer-dereference toy benchmark(Table 3、第4.2节)。
    • 模型配置为gpt-4o-mini与gpt-4.1,各40次,保留80次执行和80个Evidence Bundle;供应商调用只用于取得证据(Table 3)。
    • 已报告计时包括一次执行中的三个策略类周期,以及最多1,000个Context、一worker与八worker、每条件30次的全量重算(Table 5、Table 6)。
    • 状态检查包括strict Policy Profile下从Pass with Exceptions到Fail,以及模型上下文变化后的Inconclusive与重放;引言另写gpt-4o-mini证据在改为gpt-4.1时失效(第4.4节、引言)。
    • 论文未报告按模型分开的刷新时间、证据深度的计时重复、增量路径实测、对照引擎耗时和检测准确率(Table 2、Table 5、第4.5节)。
  6. Summarize the main content of the paper

    TAIP把策略、证据和执行分开,在保留的RepoAudit证据上于5s预算内重算合并门姿态。

    TAIP是放在未修改RepoAudit之外的保证层,用来在软件交付门上重算智能体安全控制的当前姿态。

    • 问题:审计器发现可以准入或阻断代码,但模型与运行条件会改变证据,风险偏好和辖区策略会改变对同一证据的解释。作者称时点审计、单次拦截和只记录来源的系统,给不出门控预算内、与当前主张绑定的裁决。
    • 方法:策略持有可接受性与后果,证据持有事实与来源,执行持有Test–Evaluate–Verify–Validate。Posture Tree只准入与上下文指纹匹配的证据;缺证据为Inconclusive,强制失败为Fail,非强制例外保留为Pass with Exceptions。策略扇出、失效和重放不调用供应商,也不必重跑审计器。
    • 计时:Python空指针玩具基准上保留gpt-4o-mini与gpt-4.1各40次、共80次执行。一次执行中三个策略类周期的最大事件到发布时间为1.1309ms,记为1.1ms。1,000个Context、单worker、30次的最大全量刷新为1616.3ms,记为1.62s。八worker在1,000个Context的较低中位数为288.9ms、最大为317.0ms。上述最大值低于预先声明的5s;计时不含审计器执行和供应商推理。
    • 例外与状态:八worker在10个Context的最大为180.0ms,高于100个Context的35.3ms;作者称不能由这些计时确定原因。strict策略使根姿态从Pass with Exceptions变为Fail;模型上下文变化发布Inconclusive,重放被复现。
    • 作者的结论:这些单机观测支持在所评条件下把当前姿态放进自动合并决策,而不是只做事后审计。检测准确率、分布式性能、对照加速比、增量重算和生产编排不在该主张内。
Read originalarxiv.org