Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

企业级认证图上的横向移动处置，不能靠把整张拓扑塞进 LLM 上下文再自由生成遏制动作。

• 运行场景：作者称标准 SOC 每天处理 10^4–10^5 条告警，绝大多数是误报。把 LLM 接到 API 上当分析师能做出演示，但在真实运行压力下会失效。
• 两项结构限制：中型网络有 10^4–10^5 个主机、每天 10^6 条以上连接，现有上下文窗口装不下追踪横向移动所需粒度，用尽后模型会猜测隔离能否切断访问。isolate-host、block-ip、disable-account 影响业务连续性，自由文本没有硬规则、可审计和跨版本一致的保证。
• 分工假设：作者认为 LLM 宜限于写查询、总结告警和起草报告；把拓扑状态映射到受约束动作交给训练好的策略。
• 系统与威胁模型：作者提出 Sentinel-RL，在 LANL 与 Quartz HPC 上把图数据、决策、遥测和界面分成四层。
  • 对手：初始边界突破之后才进入范围，突破方式不计。目标是劫持有效账户（T1078）并滥用远程服务（T1021），即 MITRE ATT&CK TA0008。作者假设对手主要是 credential abuser，与 LANL 红队一致。
  • 防御方：持续摄入认证遥测并维护近实时 Neo4j 图，能经 SOAR API 隔离主机或锁定账户，但起初不知道哪些资产已被攻陷。
  • 信任：作者假定 LLM 会幻觉。保证依赖 internal critic、policy auditor 与人工批准；不假定策略总是最优，行为受动作掩码、速率限制（Section IV-E）和 Section VII 的企业控制约束。

相关工作集中在 LANL 上的图检测、自主网络防御里的强化学习，以及智能体 SOC。

• 横向移动检测
  • 数据集：Kent（2015）的 LANL Comprehensive, Multi-Source Cyber-Security Events 含 58 天生产流量，约 1.65×10^9 条事件、12,425 名用户、17,684 个端点，以及认证、DNS、NetFlow 和已核实红队活动。作者称它是该方向的标准试验环境。
  • 链路预测基线：Bowman 等（2020）与 Euler（King、Huang，2023）把横向移动做成结构图上的链路预测。作者称二者给出了最初基线。
  • 子图分类与图基础模型：作者称 PIKACHU（2022）和 LMDetect（2024）把真阳性率与 F1 推进到 upper 90th percentiles。Table III 所引数字里，LMDetect 的 recall 为 0.99、F1 为 0.92，PIKACHU 的 recall 为 0.95、F1 为 0.86。King 等与 Larroche 的图基础模型在异构网上预训练，作者称平均精度有跃升；正文未给出具体数值。Section II-B 另称，图模型在 LANL 上的真阳性率常见于 85%–99%，假阳性低于 5%（文献 [4]–[7]）。
• 自主网络防御中的 RL
  • Foley 等（2023）：作者称其结论是，稀疏、目标驱动的奖励优于稠密的人工设计信号；环境若不被原生感知为图，稳健的跨网络泛化就不可能。作者称这两点被写进了本系统。
  • Hicks 等（2023）：讨论 RL 防御智能体的分阶段可解释性。作者称编排层把策略输出写成叙述的做法受此启发。
  • PPO 与仿真环境：Section II-C 选用 PPO（Schulman 等，2017），理由是目标函数截断更新幅度、可接入 Ray RLlib，并能在留出场景上回归测试后再进生产。CybORG（Standen 等，2021）与 CybORG++（Emerson 等，2024）是仿真环境；作者称自己的工作关注 live-environment execution，而不是只在这类沙箱中训练。
• 智能体 SOC 与评测规范
  • 产品与综述：作者称 Microsoft Security Copilot 和 Deng 等的威胁综述，代表商业集成走在同行评审前面。
  • 分析师行为：Vermeer 等（2022）记录分析师在压力下如何分诊。作者称这构成了人工环节所能承担工作的硬约束。
  • 评测规范：作者称遵循 Arp 等（2022），去掉空间与时间偏差、纯实验室条件和不现实的威胁假设，并采用 Bilot 等（2025）对基于图的检测可复现性的标准。
• 基线方法与基准：Table III 对比 Bowman et al.、Euler、PIKACHU、LMDetect。表注写明这些数字是原作者在同一 LANL 数据集上的报告结果。检测实验用的是该数据最后 8 天的留出切片。

作者称核心贡献不是检测精度上的零头，而是把分类器放进可遏制的响应架构，从识别威胁转到将其安全解除（Section VIII-A）。

Sentinel-RL 把拓扑推理从 LLM 卸到图编码器与 PPO：策略在固定动作集里做调查决策，LLM 只消费策略输出并生成分析师可读叙述，能否推动基础设施变更还受 critic 与批准门限制。

数据平面与状态

• 图内存：Neo4j 5.x 维护 Host、User、Service、NetworkSegment，以及带时间戳的 Authenticates-To 与 Connects-To。LANL 的 auth.txt 经 Ray Data 按源主机分片写入。对外提供流式摄入端点，以及供编码器提取局部快照的 Cypher 接口。Figure 1 标注 24M 边、17.6k hosts；正文写 LANL 有 17,684 个端点。
• 触发后的状态：告警后 HetGAT 取可疑活动周围的两跳邻域，压成 s_t ∈ ℝ⁶⁴。该式表示子图被收成固定 64 维状态，供策略读取，不随节点数增大上下文。
• 动作与服务形态：PPO 在 QueryEDR、QueryAD、CheckThreatIntel、ExamineFirewall、TerminateAndOutputVerdict 中选一个。策略以独立 FastAPI 微服务运行，而不是嵌进 RLlib 库依赖，以便并列版本，并在执行前拦截。

遥测、编排与安全面

• 滑动窗口：某源主机在 W=10 秒内发起的认证超过 N=25 次时，AlertEngine 向编排层发送 webhook，附带主机 ID 与时间窗。作者称参数针对 LANL 红队中激进的凭据喷洒，并避开自动批处理尖峰。
• 两个 LLM 角色：LangChain 管理 Triage 与 Critic，界面为 Streamlit 加 PyVis。Triage 把 PPO 输出写成叙述；Critic 检查该动作是否引用了足够证据。
• 三条硬约束（Section IV-E）：没有至少两个不同来源的佐证时，动作掩码不允许给出 TerminateAndOutputVerdict；每次决策把网络状态、所选动作、时间戳和策略版本写入不可变审计日志；更换环境变量即可切换策略版本。Section III 还写到速率限制，Section IV-E 未给出具体速率。
• 批准边界的两处写法：Section IV-D 写，没有人工在界面上点击最终批准，就不能执行任何基础设施变更。Section VII-E 与 Figure 5 则分三层：Tier 1 只读侦察自动执行并记日志；Tier 2 可逆遏制（如断开会话、隔离邮件）在 Critic 校验后执行；Tier 3（禁用账户、隔离主机、阻断网段）必须人工授权。另有 kill switch，作者称可在一分钟内退回规则日志且不必重启流水线。

摄入与部署

• 两阶段 CREATE（Listing 1，Section V-A）：先单线程用 MERGE 写入全部主机顶点，再由并行 worker 用 MATCH 定位端点并用 CREATE 写边。作者称高度偏斜的认证图上，并行 MERGE 会在热点节点上争用写锁。
• 锚节点（Section V-B）：Neo4j、策略服务、告警引擎和界面放在同一 SLURM 分配（32 核、128 GB）上，平面之间走回环。作者称 Quartz 不会在任意计算节点间自动转发用户态 TCP；跨节点放置时策略响应为空、webhook 落空、图库不可达。Ray 与 PyTorch 的并行仍限制在该节点内。

训练设定

• 过程与奖励：自定义 MDP 上训练 PPO 200 轮。智能体只看到被标记主机两跳邻域的 HetGAT 嵌入。Section VI-C 的奖励为：最终 TerminateAndOutputVerdict 与 LANL 红队真值一致则 +1，否则 0。Figure 4 把理论天花板标为 9.0。
• 另一处奖励与过滤：Section VII-A 写，奖励对每次调查动作有轻微惩罚，并按历史频率过滤 softmax，只升级越过置信门槛的告警。论文未给出惩罚系数或门槛，也未写出这是否就是 200 轮训练所用的奖励。
• 上线前检查：策略与一个传统统计集成并列，任一侧告警都进入调查；决策熵越过指定门槛则强制人工介入；每次更新须通过留出红队数据上的 recall-floor 回归。这些门槛与下限都没有数值。
• 超参数（Table I，Ray 2.30+ 的 RLModule/Learner）：train_batch_size_per_learner 为 4,000，minibatch_size 为 128，num_epochs 为 10，学习率 5×10−5，clip_param 为 0.2，entropy_coeff 为 0.01，gamma 为 0.99，lambda 为 0.95。

留出 8 天 LANL 红队事件上，Sentinel-RL 的 precision 高于 Table III 各基线，recall 与 F1 低于 LMDetect；摄入、告警和端到端时延分别在 Table II、Figure 3 与 Table IV。

实验设置

• 硬件：Section VI 的测试都在同一台 Quartz 锚节点上：32 个 Intel Xeon 核（2.4 GHz）、128 GB 内存、无 GPU。PPO 运行于 Ray 2.30+。
• 数据：摄入使用 LANL 认证边子集，从 10 万到 2400 万条；作者称 2400 万边大致相当于一天的 LANL 流量。检测使用最后 8 天、训练未见过的切片。告警测试使用合成的每秒 10 个事件，阈值 (W, N)=(10 秒, 25)。
• 被测组件：HetGAT（64 维）、五个动作的 PPO，以及本地 4-bit 量化的 8B 模型（Table IV 只把它用于叙述计时）。论文未给出该 8B 模型的名称。
• 基线：Bowman et al.、Euler、PIKACHU、LMDetect。Table III 注写明基线是原作者在同一数据集上的报告值。
• 指标与重复：摄入墙钟时间为 5 次运行的均值，各格标准差低于 3%。告警延迟为 50 次。episodic return 为 5 个随机种子、200 轮。Prec./Recall/F1/AUC 为 5 个训练种子的均值±标准差。端到端时延为 100 次试验的中位数。
• 对齐方式：Section VI-C 中 +1 仅当 TerminateAndOutputVerdict 与红队真值一致。论文未写出 precision/recall 的统计粒度，也未写出判定阈值。

主结果

留出 8 天 LANL 红队事件上的检测（Sentinel-RL 为 5 个训练种子；基线为原作者报告值，据 Table III）：

表格较宽，可左右滑动

方法	Prec.	Recall	F1	AUC
Bowman et al.	0.62	0.85	0.72	0.94
Euler	0.71	0.83	0.77	0.95
PIKACHU	0.79	0.95	0.86	0.97
LMDetect	0.86	0.99	0.92	0.99
Sentinel-RL	0.91±0.02	0.87±0.03	0.89±0.02	0.96±0.01

• 作者称 LMDetect 的 recall 略高，而 Sentinel-RL 在 precision 和 F1 上领先。表中 precision 最高，为 0.91±0.02（LMDetect 为 0.86）；F1 为 0.89±0.02，低于 LMDetect 的 0.92；AUC 为 0.96±0.01，低于 0.99；recall 为 0.87±0.03，低于 LMDetect 的 0.99，也低于 PIKACHU 的 0.95。
• 表中 precision 最低为 Bowman et al. 的 0.62，recall 最低为 Euler 的 0.83。
• 表注写基线与本文使用同一 LANL 数据集。论文未写出原作者数字是否来自这同一 8 天切片。

策略收敛

• 测了什么：5 个种子、200 轮 PPO；状态只有两跳 HetGAT 嵌入；奖励为 Section VI-C 的 +1/0。
• 结果：作者称大部分能力出现在前 80 轮。200 轮时 mean episodic return 为 8.74±0.31（Figure 4）。图注写阴影为 ±1 标准差，理论天花板为 9.0。
• 作者解读：作者称曲线稳定并接近该天花板。论文未解释终止奖励写成 +1 时，天花板为何是 9.0。

摄入吞吐

32 核锚节点上，单阶段 MERGE 对比两阶段 CREATE（Table II，5 次均值）。Figure 2 为边数–墙钟时间的对数坐标图。

边数	MERGE (s)	CREATE (s)
100,000	38	9
500,000	312	24
1,000,000	941	41
5,000,000	4,126	170
10,000,000	9,480	359
24,000,000	21,600（外推）	852

• 表注写明 21,600 秒是触及 6 小时上限后，依前 4 小时进度做的线性外推。摘要写 14.2 分钟，并称吞吐大约是 MERGE 流程的 24 倍；结论也写 14.2 分钟。
• 作者称 MERGE 因热点锁竞争呈超线性，CREATE 近线性（Figure 2 图注）。Section V-A 称在 2400 万边上，并行 MERGE 的吞吐下降约两个数量级，worker 闲置在事务队列中。

告警与端到端时延

• 告警：合成流每秒 10 个事件，(W, N)=(10 秒, 25)，50 次（Figure 3）。均值 2.31 秒，第 99 百分位 2.45 秒，最大 2.48 秒。摘要写 50 次试验中 ≤2.5 秒；结论写第 99 百分位低于 2.45 秒。作者称这落在文献 [2] 所说的个位数秒预算之内。
• 端到端：Table IV 是 100 次试验的中位数，合计 6.33 秒。各阶段为：AlertEngine 2.31 秒（36.7%），两跳子图提取 0.08 秒（1.3%），HetGAT 0.05 秒（0.8%），PPO 推理 0.04 秒（0.6%），Critic agent 证据核对 0.07 秒（1.1%），8B 4-bit 叙述 3.78 秒（60.0%）。摘要与结论写中位数 6.3 秒。Table IV 的 2.31 秒是 100 次的中位数，与 Figure 3 在 50 次上的均值数字相同；论文未写出是否为同批试验。
• 作者解读：作者称局部图提取、拓扑编码与 PPO 推理合计不到 100 毫秒，时间主要花在本地 LLM 写叙述。Table IV 中这三步的中位数为 0.08、0.05、0.04 秒。论文未写出这 100 次的事件是否来自 LANL 红队。

其他消融与分析

• 论文未报告编码器维度、动作集合、掩码规则或奖励系数的消融。
• Table I 只给出一套配置：batch 4,000、minibatch 128、epoch 10、学习率 5×10−5、clip 0.2、entropy 0.01、gamma 0.99、lambda 0.95。
• 告警阈值只报告 (10 秒, 25) 这一组。
• 2400 万边的 MERGE 时间是 6 小时上限后的线性外推（Table II 注）。
• Section VII 描述了置信度过滤、熵触发人工、recall-floor、回滚脚本、Response Sandbox 和分级批准；除作者称 kill switch 不到一分钟外，这些控制没有定量结果。
• Section V-B 称跨节点放置会导致空的策略响应、webhook 无目标、Neo4j 从其他节点不可达；论文未给出当时的延迟数字。

论文未专门讨论局限，只在 Section VIII-B 把 LLM 给 RL 作 teacher signal 写成后续可纳入的方向。

作者指出的局限与后续方向

• 论文没有 Limitations 或 Future Work 专节，Section IX 也没有把某项结果写成系统局限。
• Section VIII-B 写 Looking forward：模块化架构可以纳入用 LLM 为 RL 提供早期 teacher signal 的技术（Tholl 等）。作者称这类技术已表现出缩短训练时间的能力。

实验覆盖范围

• 机器侧测量来自一台 32 核、128 GB、无 GPU 的 Quartz 锚节点；数据为 LANL 子集、最后 8 天留出切片，以及合成告警流（Section VI）。Section VIII-B 作者把工作定位为 live-environment execution，以区别于 CybORG 与 CybORG++。
• 检测指标是 5 个训练种子在留出 8 天切片上的均值±标准差；Table III 的四个基线是原作者报告值（表注）。
• 摄入覆盖 10 万至 2400 万边、每档 5 次（Table II）。告警为合成每秒 10 事件、50 次（Figure 3）。端到端为 100 次的中位数（Table IV），论文未报告这 100 次的事件来源。
• 叙述计时只写到本地 4-bit 量化的 8B 模型（Table IV），论文未报告模型名称。
• 论文未报告置信度门槛、熵门槛、recall-floor 和调查动作惩罚的数值，也未报告人工一致性（Section VII）。复现所引材料是正文中的 Listing 1、告警阈值、Table I 和锚节点分配（Reproducibility）。

Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

• 问题：作者认为企业认证图（约 10^4–10^5 主机）放不进上下文，自由生成也不能保证隔离、封禁或停用账户与拓扑一致。对手从边界已被突破后开始，按 TA0008 以 credential abuser 做横向移动。
• 方法：两跳子图压成 64 维状态，策略在五个调查动作中选择；TerminateAndOutputVerdict 至少要两个来源的证据。Triage 写叙述，Critic 查证据。摄入用两阶段 CREATE，服务共置在 HPC 锚节点。Section IV-D 要求基础设施变更经人工点击；Figure 5 把可逆遏制放在 Critic 之后，高爆炸半径动作留给人工。
• 检测：留出 8 天 LANL 红队事件、5 个种子下，precision 0.91±0.02，recall 0.87±0.03，F1 0.89±0.02，AUC 0.96±0.01（Table III）。作者称 precision 与 F1 领先；表中 F1、AUC、recall 低于 LMDetect 的 0.92、0.99、0.99。
• 时延与训练：2400 万边 CREATE 为 852 秒，MERGE 对照为外推的 21,600 秒（Table II）；摘要称约 14.2 分钟、约 24 倍吞吐。200 轮 mean episodic return 为 8.74±0.31（5 种子，Figure 4）。告警 p99 为 2.45 秒（50 次合成流）。端到端中位 6.33 秒，8B 叙述占 3.78 秒（Table IV，100 次）。
• 作者结论：作者称这一分工能使智能体 SOC 扩到大规模认证图，并称 LANL 评测证明了可行性。作者认为更持久的贡献是两阶段 CREATE、锚节点，以及 Section VII 的误报成本、可逆、沙箱、审计和人工边界。