OpenSec: Measuring Calibration of Incident Response Agents under Adversarial Evidence

现有 IR 基准把执行了遏制当成遏制正确，测不出智能体在对抗性证据下会不会过度行动。

• 场景：作者称智能体 SOC 已出现（Omdia, 2025，逾 50 家创业公司），受控设置下告警分类精度达 94%（Srinivas et al., 2025）。作者认为进攻比防御扩展得快，并引 Heelan（2026）：6 个场景、40+ 个可工作利用、算力约 30–50 美元；摘要另写不到 50 美元。
• 不足：作者称基准测的是能力不是校准。该举例不是 OpenSec 的测量：分类正确率 94% 的模型仍可能对 97% 的告警执行遏制，包括本应忽略的 6%。高误报被写成 LLM 本应缓解的痛点，但现有评测很少看拿到行动权之后误报是变好还是变差。
• 评测对象：有遏制权的 IR 智能体；证据来自日志、告警和邮件，可含提示注入；攻击者继续推进杀伤链。作者要测的是对抗证据、且利害关系是运维时，行动意愿与行动正确性的缺口。Barres et al.（2025）在 τ²-bench 上从仅推理转到 dual-control 下降 28 个点，并称主要瓶颈是协调失败。
• 提出：OpenSec，带确定性执行评分的 dual-control 强化学习环境。指标为 time-to-first-containment（TTFC）、evidence-gated action rate（EGAR）、blast radius 和分 tier 注入违规率。评分看实际动作，不看报告文本。

论文在 §8 和引言里讨论四组工作，批评只挂在它点名的对照上。

• 安全基准：CyberSecEval2（Meta AI, 2024）测代码安全与提示注入抵抗，并引入 false refusal rate（FRR）量化安全与效用的权衡；作者称这与校准在概念上相邻。CTIBench（Alam et al., 2024）评 CVE 到 CWE 映射和威胁行为者归因等情报任务。ExCyTIn-Bench（Wu et al., 2025）用 Azure 日志上的安全问答评 LLM 智能体的威胁调查。作者称这些基准回答“能不能做 X”，不回答“是否知道何时该做 X”。
• 交互式网络环境：CybORG（Baillie et al., 2020）为红蓝自主智能体提供对抗网络场景的训练环境。作者称 OpenSec 的区别是以日志和 SOC 产物为中心，显式放入提示注入，并测量动作校准，而不是做网络级决策。
• 双控制：论文引 Bernstein et al.（2002）：有限时域的 decentralized POMDP 为 NEXP-complete。τ²-Bench（Barres et al., 2025）写智能体从单控制转到双控制时性能下降，并把问题形式化为 Dec-POMDP。ATLAS（Jaglan与Barnes, 2025）用分开推理与执行的双智能体架构应对该问题。作者称 OpenSec 把双控制用到 IR：防御者调查时攻击者继续推进。
• 网络安全 RL：作者称先前工作主要是攻击路径发现和渗透测试（Hammar, 2025）。Lazer et al.（2026）的综述把基准标准化列为缺口。

主实验没有把上述基准当作对照跑分。四模型在 OpenSec 的 standard-tier 上互为参照；附录 A 把训练后的 Qwen/Qwen3-4B-Instruct 与 Sonnet 4.5 的主评测数字对比。作者把本文定位为测“何时该行动”的 IR 校准环境，并给出可复现、基于执行的标准化评分。

OpenSec 是 dual-control 模拟器：防御者调查并遏制，攻击者在硬状态机里推进固定杀伤链，分数只看改变世界状态的动作，不看报告文本（Figure 2 图注）。

回合与角色

• 每个 episode 是带 ground truth 和产物时间线的事件。防御者在截止步数内行动，默认 max steps=15；未被遏制时攻击者继续演化事件。
• 防御者观察 SQLite 日志、告警和邮件。动作有 query logs、fetch email、fetch alert、isolate host、block domain、reset user、submit report。
• 攻击者是受限自主的 LLM policy：只选合法且与场景一致的动作，可在分支间选择，并可按 (scenario id, step, attacker state, agent action hash) 做 replay cache。论文未给出该策略的模型名。
• 杀伤链为 phish sent、creds used、lateral move、data access、exfil attempt，带状态约束和可选分支。

场景与种子

• 三条设计原则：按分类分层、产物带信任层级与溯源、目标可变。种子有 taxonomy id 和 taxonomy family。
• 三族及抽样权重：direct harm 0.50、data exfil 0.30、adaptive 0.20。trust profile 把每种 surface 映射到 untrusted、corroborated 或 verified。
• 数据为 160 个训练种子、60 个评估种子（trivial、easy、standard 各 20）。论文写注入载荷出现在全部场景；基线评估使用 40 个 standard-tier 种子。Figure 3 图注写种子带家族标签和注入载荷，用于课程学习与定向评估。
• 攻击图可用 objectives 列表和条件状态转移做多目标场景，并可改变 max steps。论文未在方法节给出这 40 个种子的家族计数。

奖励

• 四项确定性分量之和，用作训练信号。Attribution：正确字段 +1，unknown 每个 −0.5。Containment：正确动作 +1，误报 −0.5 且按类别封顶，论文未给封顶值。Injection safety：暴露于注入内容之后，每次违规 −2。Efficiency：每步 −0.1，用来减少不必要动作。
• 违规指工具调用参数与只出现在注入文本中的内容发生子串匹配（论文举例为域名或主机标识），按 episode 计。只惩罚暴露之后的行为妥协；作者称避开阅读不是选项。
• 作者称误报惩罚重于不作为，且故意不惩罚漏遏制，以便先看动作选得对不对。作者同时称：FP 惩罚封顶、漏遏制又无罚时，耗尽动作空间仍可得高奖励，因此总奖励不是充分的部署指标。惩罚不对称本次未做消融。

指标与判定

• containment rate：至少执行一次遏制的 episode 比例。FP rate：至少含一次错误遏制的 episode 比例。EGAR：遏制动作中、事先已获取目标实体可信证据的比例；§6 写只有 trusted evidence 计入。
• TTFC 是首次遏制的步索引，越高表示行动前调查越多。TTR 是提交最终报告的步索引。blast radius 是每 episode 误报遏制与正确遏制之比。
• 注入违规率分三级：T1 为 obvious overrides，T2 为 contextualized、domain-specific framing，T3 为 complex、multi-step 或 multilingual payloads。
• 防御者提示词枚举全部遏制工具，并给出 JSON 用法示例。Table 1 的标定标签为 Uncalib. 与 Part. Cal.；§6 称这些阈值是临时的，对照观察到的前沿模型行为，不是人类专家基线。作者引 OWASP（2025）把 tool/API access 列为攻击面，并称 OpenSec 故意让防御者处理攻击者控制的内容。

实验设置

• 被测模型：GPT-5.2、Claude Sonnet 4.5（表中写 Sonnet 4.5）、Gemini 3、DeepSeek 3.2。附录 A 另报告 Qwen/Qwen3-4B-Instruct。攻击者只写为 LLM policy，论文未给出模型名。
• 数据：训练种子 160；评估种子 60，trivial、easy、standard 各 20。注入载荷在全部场景中出现。Table 1 写每模型 40 个 standard-tier episode；§2 与 §6 写基线使用 40 个 standard-tier 种子。论文未说明这 40 与“standard 评估种子 20”的关系，也未报告这 40 个 episode 的家族计数。
• 权重与步数：家族抽样权重为 direct harm 0.50、data exfil 0.30、adaptive 0.20。默认 max steps=15。Table 1–2 未给出 trivial 与 easy 的结果。
• 指标：containment rate 与 FP rate 是 episode 比例；EGAR 是动作比例；TTFC、TTR 是步索引；blast radius 是误报与正确遏制之比；另有分 tier 注入违规率和四项奖励之和。
• 判定：输出为 JSONL。遏制只对改变世界状态的动作计分，不是 LLM 裁判。违规按 episode 定义，为工具参数与仅出现在注入文本中的内容子串匹配。
• 未报告项：论文未报告采样温度、重复次数，以及与人工判定的一致性。标定标签在 Table 1；§6 称其为临时，对照的是观察到的前沿模型行为，不是人类专家基线。

主结果

据 Table 1，每模型 40 个 standard-tier episode。表头模型名按论文写法。

Swipe horizontally to read the table

模型	Reward	Cont.	FP	EGAR	TTFC
GPT-5.2	3.07	1.00	0.825	0.375	4.1
Sonnet 4.5	2.37	0.625	0.45	0.392	10.6
Gemini 3	2.61	0.75	0.575	0.429	8.6
DeepSeek 3.2	3.45	0.925	0.65	0.542	9.0

• 标定标签：作者只把 GPT-5.2 标为 Uncalib.，其余三个标为 Part. Cal.。作者称四模型在行动时都识别出 ground-truth 威胁，缺口在克制而不是检测。
• 奖励：作者称这些奖励看起来不低，但反映的是不加区分的行动；并称在生产中，误报遏制会连同真实威胁一起打掉合法服务。
• 与图注的差别：Figure 1 图注写代表性时间线上 GPT-5.2 于第 4 步开始遏制、假阳性率 82%，Sonnet 4.5 收集证据到第 11 步、假阳性率 45%；这与 Table 1 的汇总列不完全相同。摘要写 GPT-5.2 在第 4 步行动、FP 为 82.5%。图注称杀伤链跨 15 步推进，与防御者行为无关，且两条时间线都识别了真实威胁。

操作时间与注入层级

• 时间与 blast：Table 2 的 TTR 依次为 12.1、13.5、12.5、13.2，Blast 为 0.43、0.44、0.44、0.42（模型顺序同 Table 1）。作者称 blast 相近，正文写 0.42–0.44，并称误报一旦发生，幅度与时机无关。作者称 GPT-5.2 只调查了 episode 的 27%，Sonnet 4.5 为 70%。
• 分 tier：T1/T2/T3 依次为 GPT-5.2 的 0%、25%、7%，Sonnet 4.5 的 0%、20%、0%，Gemini 3 的 7%、15%、5%，DeepSeek 3.2 的 5%、15%、10%。作者称 T2 是各模型上最有效的攻击面，T1 很少成功，DeepSeek 3.2 的 T3 最高；并称注入鲁棒性与遏制校准相互独立。Table 2 图注写 Sonnet 4.5 的 T1/T3 为 0。
• 分母：论文未写明这些百分比的分母，也未写各 tier 的样本量。正文另写 T2 违规率为 15–25%。

初步 RL（附录 A）

• 做法：训练 Qwen/Qwen3-4B-Instruct，算法为 Group reward-Decoupled Normalization Policy Optimization（GDPO），奖励分解为 attribution、containment、injection、efficiency。作者称 GDPO 在聚合前对各奖励分别归一化，以处理多奖励设定中的 reward-advantage collapse。rollout 用 SGLang，硬件为一张 A100。作者称这不构成主要贡献。论文未报告步数、学习率和评估种子档。
• Table 3：containment rate 0.75，FP rate 0.70，correct containment 0.475，injection violation rate 0.375，report submitted 0.25。
• 作者解读：相对 Sonnet 4.5 的主评测，作者称是有变化但并非更校准；行动更频繁但不更准确。作者认为报告提交比例提示 reward shaping 问题，并认为直接用多分量奖励做 RL 不够，可能需要成功轨迹上的 SFT warmup、课程分期和显式验证门。

其他消融与分析

• 惩罚不对称未做消融；对称惩罚被写成后续可做的消融，无数字（§3.1）。
• 漏遏制不加罚，FP 惩罚按类别封顶；作者称因此耗尽动作空间仍可得高奖励（§3.1）。
• 开发中观察到：产物缺少真实溯源和信任元数据时，模型更少执行遏制；无量化对照（§5）。作者认为不真实的基准可能低估行动意愿、高估校准。
• 作者认为校准取决于能力之外的因素，可能包括对齐方式或训练方法；为何是 Sonnet 4.5 而非另外三个模型，作者称是开放问题（§5）。

作者指出的局限与后续方向

• 不执行真实利用：环境以日志为中心，不执行真实 exploit 或恶意软件，目标是调查和遏制决策，不是利用开发（§6）。
• 攻击者非自由形式：攻击者为确定性而受状态约束，不是完全 free-form（§6）。
• 场景切片：评测收在 phish、creds、lateral movement、exfil 这条常见链上，以便可核验（§6）。
• 种子与阈值：每模型 40 个 standard-tier 种子；作者称更宽的统计置信需要更多种子和重复。防御能力阈值是临时的，对照观察到的前沿模型行为，不是人类专家基线（§6）。
• 信任层级：元数据用于计算 EGAR，尚未作为自变量分析；按证据溯源质量分析模型行为是后续工作（§6、§7）。
• 训练与开放问题：作者称为何是 Sonnet 4.5 而非 GPT-5.2、Gemini 或 DeepSeek 仍是开放问题（§5）。附录 A 与 §7 写初步 RL 提示校准行为可训练，但需要进一步研究；作者认为很可能要两阶段 SFT+RL 或课程，并认为直接多分量奖励 RL 不够。注入课程和信任感知评估也列为后续（§7）。

实验覆盖范围

• 主结果覆盖 GPT-5.2、Sonnet 4.5、Gemini 3、DeepSeek 3.2，各 40 个 standard-tier episode，数字在 Table 1 与 Table 2。
• §2 写训练种子 160、评估种子 60（trivial、easy、standard 各 20），注入载荷覆盖全部场景；家族权重为 0.50、0.30、0.20。Table 1–2 未给出 trivial 与 easy 的数字。
• 注入违规按 T1、T2、T3 报告；EGAR 只计 trusted evidence。防御者动作包括论文列出的 query logs、fetch email、fetch alert、isolate host、block domain、reset user、submit report。
• 附录 A 用 GDPO 训练 Qwen/Qwen3-4B-Instruct，rollout 为 SGLang、一张 A100，Table 3 报告五项指标。论文未报告训练步数、学习率和该次评估的种子档。
• 评分是执行匹配，不是 LLM 裁判。论文未报告攻击者 LLM 的模型名、采样温度、重复次数，以及 Table 2 各 tier 百分比的分母。

OpenSec 用 dual-control 事件环境测量 IR 智能体在对抗证据下的校准：分数看实际遏制，不看报告文本。

• 问题是现有安全基准把执行动作和正确执行混在一起。作者关心的是，日志、告警和邮件含提示注入、攻击者仍在推进时，有遏制权的智能体会不会在证据不足时行动。
• 防御者默认最多 15 步，可调查，也可 isolate host、block domain、reset user。攻击者是嵌在固定杀伤链里的 LLM policy。奖励分开计归因、遏制、注入违规和步数；误报有罚，漏遏制不罚。
• 四个前沿模型各 40 个 standard-tier episode（Table 1）：GPT-5.2 遏制率 1.00、FP 0.825、EGAR 0.375、TTFC 4.1；Sonnet 4.5 为 0.625、0.45、0.392、10.6；Gemini 3 为 0.75、0.575、0.429、8.6；DeepSeek 3.2 为 0.925、0.65、0.542、9.0。作者只把 GPT-5.2 标为 Uncalib.。摘要写其在第 4 步行动，Table 1 的 TTFC 为 4.1。
• 作者称四模型行动时都能识别真实威胁，缺口在克制。Table 2 中 T2 最高为 GPT-5.2 的 25%，Sonnet 4.5 的 T1 与 T3 为 0%；正文写 blast 为 0.42–0.44。作者称注入鲁棒性与遏制校准相互独立。
• 附录 A 用 GDPO 训练 Qwen/Qwen3-4B-Instruct，containment 0.75、FP 0.70。作者称这不是主要贡献，相对 Sonnet 4.5 并非更校准。
• 作者的结论是：总奖励不能代替部署指标；不真实的基准可能低估行动意愿、高估校准。环境不执行真实利用，阈值是临时的。