AI 安全 Stackelberg 模型中的防御充分性研究

持续发现与修复何时足以保护攻击面，以及应投入多少发现与修复能力才能威慑自适应攻击者。

• 场景：作者称生成式系统除工具、基础设施和访问控制外，还要处理模型如何解释输入。间接提示注入可在用户请求无害时诱发未授权动作或泄露；更长上下文和工具权限会带来短提示下没有的攻击，后续微调也可能破坏已有对齐。
• 缺口：挡住一条提示未必挡住改写。修补可涉及过滤、安全训练、检索、权限或应用逻辑，后续更新还可能削弱早先保护。作者把 Vassilev 的静态不完备结果对照为：实际修补会更新护栏，而不是只保留一个固定防御。
• 假设：防御由其能挡住的攻击集合表示，并要求测试持续碰到未解决攻击、漏洞被修好、已有保护被保留。有限面上这对应几乎必然的完全覆盖；可数无限面上每个固定攻击最终可被覆盖，但每一有限时刻仍可能有未覆盖攻击，故最终保护不等于当前风险可忽略。
• 本文的分析：完成时间界，以及对增长攻击面、一次修补覆盖一族相关攻击、多种发现机制的推广；再加防守方领先的 Stackelberg 博弈，刻画威慑的最低成本配置，以及不投、单投或双投的区间。数值实验说明这些区间。作者称在 garak 上用 Lean 做了可检验层示例。
• 威胁模型：
  • 目标：攻击者最大化漏洞可用时间的期望收益减去预先支付的搜索成本，零力度收益为零。防守方先承诺能力，最小化投入加期望妥协损失。
  • 知识：攻击者观察承诺后选力度。发现过程可随历史改变偏好，但每个仍脆弱的攻击须有条件发现概率下界。论文未用 white-box 或 black-box 称呼该博弈。
  • 能力：搜索力度使攻击者发现时间为指数分布。自动测试与人工红队提高妥协前发现率，事件响应提高妥协后修复率。防守方先发现则不妥协；攻击者先发现则修复时间另为指数分布，二者独立。
  • 受害系统：攻击可以是提示词、对话，或带工具与权限的环境。主动面 X_t 中，当前防御有效的集合为 D_t，其余为残余脆弱集。

论文按防守方的两个问题分组：重复测试与修补何时给出覆盖，以及应如何为这些能力投资。

发现失败并从中学习

• 自动红队：Perez 等（2022）用模型生成测试并考察有效性与多样性；Hong 等（2024）用好奇心驱动探索提高生成攻击的覆盖；garak 与 PyRIT 是文中点名的开源 LLM 红队工具。作者称更大的经验多样性并不确立本文覆盖结果所用的持续发现条件。
• 发现与修补交替：MART 与 rainbow teaming 交替生成对抗提示并对目标模型做安全微调；HarmBench 提供评测框架和对抗训练；输入或输出护栏也可在新攻击数据上持续更新。作者把这些更新抽象成有效修补与保持。作者引用 Qi 等（2025）关于后续微调破坏浅层安全对齐的结果，并写保持需要单独论证。
• 生命周期：Majumdar 等（2025）主张红队贯穿开发生命周期，而不只看孤立的模型失败。作者称本文给“由发现和修补积累保护”这一部分一个数学刻画。

覆盖保证的范围

• 更长上下文：many-shot jailbreaking 与多轮攻击说明更长上下文能启用新攻击。
• 有界证书：Kumar 等（2024）的 erase-and-check 在底层过滤器能检出有害提示的前提下，对不超过给定规模的 token 级攻击给出可认证保护。作者称这促使他们处理扩张攻击面：对每个固定攻击的最终保护，不必蕴含任一有限时刻的完全覆盖。
• 静态不完备：Vassilev（2026）用不完备论证说明没有固定护栏集能挡住全部可能攻击。作者对照的是：本文允许更新护栏，并认为这符合持续修补新漏洞的实践。

安全投资

• Gordon 与 Loeb（2002）：把安全投入写成支出与期望入侵损失的权衡。
• Ebel 与 Mitra（2024）：在防守方领先的 Stackelberg 模型中纳入策略型攻击者，刻画最优投入并分析威慑的代价。作者称该文已区分劝阻攻击所需的投入和防守方认为最优的投入；本文再把妥协前发现与妥协后修复分成两项投入，显式建模攻击者反应，得到凸的联合投入问题、配置区间和最小成本威慑速率。

Stackelberg 安全博弈

• Korzhyk 等（2011）：防守方承诺策略，攻击者观察后反应。作者称领先—跟随结构沿用这一文献。
• Han 与 Zhu（2026）：把 LLM 越狱交互建成扩展式博弈，并结合提示空间探索，用 Stackelberg 推理指导智能体防御。作者称对方决策的是交互中的提示与防御响应，本文决策的是攻击者选择搜索力度之前购买的发现与修复能力。

实验对照：Section 8.2 把修复率固定在基线、只优化发现率，用来对照联合优化。作者把本文定位为：在可更新防御下给出发现—修补的覆盖条件，并把两项能力作为威慑自适应攻击者的投资对象。

作者把防御写成已覆盖攻击的集合，先给出发现、修补、保持下的覆盖定理，再把主动发现与妥协后修复建成防守方领先的 Stackelberg 投资博弈。

有限攻击面的覆盖

• 回合 t 的主动面为 X_t，D_t 为当前防御有效的攻击，残余集是二者之差。有效保护在给定模型中固定：确定性系统可以是不再产生指定有害结果；随机系统可以是该结果概率低于选定阈值。
• 假设 1 要求几乎必然：报告的漏洞在下一回合前被修好，且已有保护被保留。作者写，检测器认出失败不等于有有效补丁，回归测试留在库里也不等于防御仍能挡住它。
• 假设 2：存在 ε∈(0,1]，只要攻击仍脆弱，下一回合发现它的条件概率至少为 ε。偏好可以随历史改变。该论证用条件概率，不要求各回合独立。
• 定理 2：面的大小为 N 时，清空残余集的时间 T 几乎必然有限；T>t 的概率不超过 min{1, N(1-ε)^t}，期望 T 不超过 N/ε。要让覆盖概率至少 1-δ，回合数可取不小于 log(N/δ)/ε 的向上取整。若初始覆盖已知，N 可换成尚未覆盖的个数。

增长面、区域修补与多种机制

• 嵌套的有限上下文层之并可数。定理 3：攻击准入后若发现下界为正，则它最终被永久覆盖的概率为 1，可数多个攻击同时成立的概率也为 1。推论 4：每个有限层几乎必然在某个有限时刻之后被完全覆盖。作者强调，这与每一有限时刻仍有攻击未覆盖可以同时成立。
• 补丁区域是同一次修补能处理的攻击族，允许重叠。未清空区域有发现下界 η_i，发现后几乎必然清空整个区域。定理 5：完成几乎必然发生，期望时间不超过各 1/η_i 之和。作者举例：N=mr 个攻击分成 m 个大小为 r 的区域、每回合均匀抽一个攻击时，只修被抽中者的期望完成时间为 N H_N，按区域修补则为 m H_m。
• 若发现后清空区域的条件概率至少为 r_i>0，且失败补丁仍保留早先保护，作者称可用 η_i r_i 代替 η_i；不能把互不相关的边际发现率与修补率直接相乘。
• 多种机制每回合按条件概率选一个，总发现下界是选择概率与该机制报告下界的加权和。逐回合修补概率下界之和发散，则最终修补概率为 1。作者称工具在清单里不等于持续探索；事件机制的报告发生在实际失败之后，初始伤害不在最终覆盖保证内。

发现竞赛与攻击者反应

防守方购买自动测试 g、人工红队 h、事件响应 i，成本为各项单价乘数量之和。主动发现率是基线 m_0 加上前两项的效果，妥协后修复率是基线 δ 加上事件响应的效果。零追加投入不等于没有防御。

攻击者观察承诺后选力度 a。其发现时间为速率 ra 的指数分布，防守方以速率 m 独立抢先中和。妥协概率为 p(a,d)=ra/(ra+m(d))。攻击者单位可用时间收益为 v，并预先支付 c_A a，而不是按随机搜索时间累计成本。防守方单位妥协时间损失为 L。

定理 8 给出每个承诺下的唯一最优反应。搜索力度为零当且仅当 m(d)μ(d)≥θ，θ 定义为 vr/c_A。作者称提高 v 或 r 使威慑更难，提高 c_A 使威慑更容易；加快修复会降低赢得发现竞赛的收益，从而降低威慑所需的主动能力。作者还称，主动发现提高时，仍在攻击的攻击者可能先加大力度，但最优反应处的妥协概率和期望妥协时长对两个防御速率都非增。

投入区间与可检验记录

• 防守方最小化投入加 L 乘最优反应处的期望妥协时长。命题 9 写该目标连续、凸，最小值存在，故均衡存在；最优配置不必唯一。作者称，即使投入足以消除攻击激励，所需能力仍可能贵于它能避免的期望损失。
• 自动测试与人工红队是替代品。把主动发现率提高一单位的最低成本记为 κ；修复率的单位成本记为 η。定理 10 固定修复率：基线已达威慑则不加投；否则 κ 高时停在基线，居中时加投但攻击继续，足够低时恰好买到威慑。
• 命题 11 给出达到乘积阈值的最小成本速率，贵的一侧可停在基线。命题 12 用边际损失下降与 κ、η 比较，分出不加投、威慑，以及攻击继续时只加发现、只加修复或两者都加。作者称双方都追加且攻击继续时，妥协概率不依赖 η；更便宜的修复提高修复率、降低发现率，乘积不变，期望妥协时长下降。
• Section 9 要求反馈记录说明失败、所违反策略和期望行为，并保留输入与上下文、响应、系统与防御版本及判定准则。随机系统上一次复测不够。后续更新须继续拦截已接受的对抗用例，且不拦截良性用例，从而不能靠拦截全部输入过关。作者称在 garak 的若干攻击上用 Lean 做了概念验证，并称定理 2、3、5、7 的证明在补充材料中有 Lean 版本。

实验设置

• 被测对象：论文未报告在具体语言模型上跑覆盖或攻击实验。数值部分求解投入优化，并抽样模型中的随机等待时间。
• 参数：归一化单位，基线速率 m0=δ=1，攻击者生产率 r=1，攻击者价值 v=4，防守方损失 L=8。除显式变化外 c_A=1，故 θ=4。作者称参数是示意，不是按经验攻击数据标定。成本按所建模的一次机会计，速率按归一化时间。
• 实验 1：κ 与 η 各自在 [0.125, 16] 上变化，共 25,921 个均衡。
• 实验 2：κ=0.6、η=1.2，c_A 在 [0.125, 8] 上变化。对照把修复率固定为 μ=δ=1，只优化发现率。
• 求解与核对：比较基线、各基线边上的最优、最小成本威慑解，以及命题 12 的可行内点，选目标最小者；只修复的边用一维求根。另在 300 组随机参数上与约束数值优化核对。θ、L、κ、η、m0、δ 各自在对数尺度的 [0.1, 10] 上独立均匀抽取，并用两个初始分配。
• 指标：妥协概率、每机会期望妥协时长、防守方目标。Table 1 另给 95% 区间：概率用 Wilson，平均时长用近似正态。论文未报告抽样次数。

主结果

Table 1 比较五场景的理论值与模拟值。论文未说明各场景的 κ、η、c_A。时长单位为每机会的归一化时间。

Swipe horizontally to read the table

场景	妥协概率理论	妥协概率模拟	平均时长理论	平均时长模拟
Baseline	0.5000	0.4979	0.5000	0.4974
Proactive	0.3333	0.3331	0.3333	0.3343
Response	0.3581	0.3586	0.2173	0.2189
Joint	0.3333	0.3344	0.2041	0.2043
Deterrence	0.0000	0.0000	0.0000	0.0000

• 作者称生存曲线区分两类投入：主动投入降低妥协开始的概率，条件时长仍按基线速率衰减；响应投入提高衰减率。联合投入结合两者。作者写平均时长应与时长分布一起看，因为更低的均值可以来自更少的妥协、更短的妥协，或两者。
• 作者写 Figure 1 显示模拟与解析预测接近，并给出生存函数 P(T>t)=p* e^{−μ* t}。Figure 1 图注写的是成本热图和投资区间白线；Table 1 右栏写解析生存概率为线、经验值为点，纵轴文字为 Pr(T>t)，横轴为 Compromise duration (time)。
• Joint 的理论概率 0.3333、理论时长 0.2041，与 Section 8.1 例子 (κ,η)=(1.5,2) 的 1/3 和 0.204 数值相同。论文未写明 Table 1 的 Joint 是否就是该例子。

成本扫描下的区间

• 作者称 Figure 1 在 m0=δ=r=c_A=1、v=4、L=8 下可见全部五种预测区间。热图为每机会期望妥协时长，被威慑的均衡被归在一起。坐标轴文字为 Proactive cost 与 Repair cost。
• 基线边际收益为 b0=2、e0=6。κ≥2 且 η≥6 时不加投；威慑条件简化为 κ≤1 或 η≤0.25。因而足够便宜的发现或足够便宜的修复都可使威慑成为最优。
• (κ,η)=(1.5,2) 给出 (m*,μ*)=(1.089,1.633)，妥协概率 1/3，期望妥协时长 0.204。作者称双投不必意味着威慑。该网格上期望妥协时长从 0 到基线 0.5。

攻击者成本与固定修复对照

• c_A=0.125 时联合解为 m*=1、μ*=2.40，只有响应获得追加投入。相对固定修复，期望妥协时长为 0.30 对 0.79，防守方总成本为 4.10 对 6.57。论文未给该点的妥协概率。
• c_A=0.25 时联合解为 (1.21,2.30)，固定修复需要 m*=2.78。两者妥协概率都是 0.58，期望时长为 0.25 对 0.58。作者称这是命题 12 之后的乘积不变：概率不变，时长下降。
• 两种方案都在 c_A=0.6 达到威慑。该边界上联合投资成本 2.58，固定修复为 3.40。c_A≥4 时基线本身威慑，两边都不再购买。作者称发现率在该扫描上非单调：先上升，威慑可用更少投入维持后再下降。

其他消融与分析

• 300 组对数均匀参数全部通过边际最优检查和威慑准则；最大目标差除以 1+|Φ*| 低于 3×10^{-11}。
• Table 1 的 95% 区间例：Baseline 概率 [0.4957, 0.5000]，Response 概率 [0.3565, 0.3607]，Joint 时长 [0.2023, 0.2063]，Deterrence 两项均为 [0.0000, 0.0000]。
• 定理 10：修复率固定且基线尚未威慑时，κ 高则停在基线并接受残余风险，居中则加投但攻击继续，低则恰好威慑。
• 命题 11 只回答如何以最低成本威慑，不回答威慑是否值得买；命题 9 写威慑不必是防守方偏好的结果。
• 备注 3：事件响应的报告跟随实际失败，初始伤害不进入最终覆盖保证。
• 可数无限攻击面：作者称每个固定攻击最终被覆盖的概率为 1，但每一有限时刻仍可以有攻击未覆盖。

作者指出的局限与后续方向

• 完整反馈回路：结论写，在此框架上继续做，需要研究部署系统中的完整反馈回路。（Section 10）
• 纵向评估：应追踪发现是否带来有效修补、修补是否泛化，以及后续更新多常重新引入早先失败。（Section 10）
• 验证层：作者称现有实现是起点；扩展到带版本的修复历史和独立验证的测试用例，有助于把理论假设接到实践证据。（Section 10）
• 重复博弈：进一步方向是把投入放进演化反馈。防守方在测试中了解攻击成本、发现效果和修补可靠性，攻击者适应由此产生的保护。作者提出能力不确定、保持不完美、并约束良性任务表现的重复博弈。（Section 10）
• 完美修补假设：Section 9 写明，充分条件假定检出漏洞都是得到修复的真阳性，且早先修复保持有效；用到部署系统需要确立测试与更新满足这些条件。（Section 9）

实验覆盖范围

• 数值实验使用 Section 8 的归一化单位：m0=δ=r=1，v=4，L=8；除显式变化外 c_A=1，因而 θ=4。作者称这些参数是示意，不是按经验攻击数据标定。
• 实验 1 在 κ、η 各自属于 [0.125, 16] 时得到 25,921 个均衡；实验 2 固定 κ=0.6、η=1.2，扫描 c_A 属于 [0.125, 8]，对照为固定 μ=1、只优化发现率。
• 解析候选解与约束数值优化在 300 组参数上核对；θ、L、κ、η、m0、δ 各自在对数尺度的 [0.1, 10] 上独立均匀抽取。
• Table 1 给出 Baseline、Proactive、Response、Joint、Deterrence 的理论与模拟妥协概率和平均时长，以及 95% 区间。论文未报告抽样次数，也未写明各场景的 κ、η、c_A。
• 作者称补充材料含定理 2、3、5、7 的 Lean 版本，并在 garak 的若干攻击上实现验证层作为概念验证。论文未报告该层的检出或拦截数字，也未报告具体语言模型上的覆盖或妥协结果。

作者用攻击集合上的发现—修补过程，加上防守方领先的 Stackelberg 博弈，讨论反馈式防御何时够用，以及为威慑自适应攻击者该买多少能力。

• 覆盖：有限面上，若每个未解决攻击有持续发现下界、报告的漏洞被修好、已有保护被保留，则清空残余集的时间几乎必然有限。尾概率不超过 N(1-ε) 的 t 次方，期望时间不超过 N/ε。可数增长面上，每个固定攻击最终被覆盖的概率为 1；作者称这不等于某一时刻已经没有剩余攻击。一次修补若覆盖整族相关攻击，等待时间按区域而不是按单条攻击计算。多种发现机制要看累积发现下界是否发散，把工具放进清单并不自动满足该条件。
• 投入：攻击者观察承诺后选搜索力度。威慑条件是主动发现率与妥协后修复率之积至少为 vr/c_A。均衡可以是不加投、只买发现、只买修复、两者都买但仍有妥协，或买到威慑。作者称威慑技术上可行时，仍可能贵于它能避免的期望损失。
• 数值：示意参数下，(κ,η)=(1.5,2) 的妥协概率为 1/3，期望妥协时长为 0.204，双投并未威慑。κ=0.6、η=1.2、c_A=0.25 时，联合优化与固定修复的妥协概率同为 0.58，期望时长为 0.25 对 0.58。c_A=0.125 时期望时长为 0.30 对 0.79。c_A=0.6 时两边都威慑，成本为 2.58 对 3.40。Table 1 的五场景模拟值与理论值并列，并带 95% 区间；论文未写明这些场景的成本参数。
• 作者的结论：缩短妥协时长即使在妥协仍可能时也有价值。把覆盖条件用到部署系统，需要能检验修补是否发生、保护是否被后续更新保留。结论提出做纵向评估，并把不确定能力、不完美保持和良性任务约束放进重复博弈。