CyberSOCEval：评测 LLM 恶意软件分析与威胁情报推理能力的基准

现有评测未覆盖 SOC 里的恶意软件分析与威胁情报推理，开发者和使用者缺少选型与改进标尺。

• 场景：作者称 SOC 防御者被告警、威胁情报和变化的业务上下文淹没，需要能增强运营安全工作的 AI。作者同时称攻击者已在用 AI 扩大网络攻击，因此需要开源基准推动防御方和模型开发者改进。
• 现有不足：作者称现有评测对真实防御者最重要的场景不完整。文中点名 Sophos (2024) 与 Oniagbi (2024) 未开源评测，Bhusal 等 (2024) 的开源基准限于工控单一行业。
• 作者的观察：更大、更新的 LLM 往往更好，作者称这符合训练缩放规律。利用测试时缩放的推理模型，没有得到它们在编码和数学中的那种提升；作者认为这些模型未被训练来推理网络安全分析。
• 本文提出：开源套件 CyberSOCEval，属于 CyberSecEval 4，含 Malware Analysis 与 Threat Intelligence Reasoning。两项任务由团队的安全从业者按防御操作中的必要性选定。作者称当前 LLM 远未使评测饱和。

作者将本文定位为补齐公开的 SOC 评测，重点是防御者在恶意软件分析与威胁情报上的推理，而不是宽泛安全知识问答。

SOC 任务评测

• Sophos (2024)：评测三项 SOC 任务，即把自然语言问题转成 SIEM 查询、从原始 SOC 数据做事件摘要、给事件严重性评级。作者称该报告强调需要公开 SOC 基准，但评测未开源。
• Oniagbi (2024)：在合成实验环境中看 LLM 智能体对 Tier-1 SOC 分诊的辅助。作者转述其发现：辅助加快了初始分诊并降低认知负荷，但作为副驾优于作为自主智能体；未提供开源评测框架。
• SECURE（Bhusal 等, 2024）：开源评测工控领域的网络防御技能。作者称它只覆盖单一行业，不能满足更一般基准套件的需要。

威胁情报评测

• CTIBench（Alam 等, 2024）：四项 CTI 评测，包括威胁知识多选题、漏洞到根因的映射、按 CVSS 等标准预测严重性、根据攻击描述做威胁行为者归因。
• SEvenLLM（Ji 等, 2024）：英汉框架。用 8,485 份威胁报告在 28 项网络安全任务上微调领域 LLM，并有 1,300 条问答样本评测 CTI 分析能力。
• 作者的区分：相对既有 CTI 评测，作者称本文加入多模态报告（文本 IOC 与表格或图示），并设置当前系统仍困难、但是人工瓶颈的高层推理题。作者称从爆料报告做恶意软件分析的评测此前缺失，该套件在评测这一能力上是新颖的。

安全知识与双用途评测

• CyberSecEval 3（Wan 等, 2024）：评测不安全代码、跟随恶意指令等脆弱性，以及漏洞识别等双用途能力。本文套件属于后续的 CyberSecEval 4。
• CyberMetric（Tihanyi 等, 2024）：从 NIST、CWE 等标准生成数千道多选题，在数十个模型上做范围较宽的安全知识测验。
• 作者称这类工作覆盖宽泛问答或具体技术子任务，并称通用模型在复杂安全推理上往往达不到要求。

本文实验的对照

• 实验没有把上述基准当作分数基线。对照是随机猜测，计算分别在 Appendix B（Malware Analysis）和 Appendix C（Threat Intelligence Reasoning）。

作者称 CyberSOCEval 更深入地测 SOC 情境中的防御者推理，要求整合上下文、多步推理和判断。结论称，据他们所知，这是首个聚焦代表性 SOC 活动的开源 LLM 基准。

CyberSOCEval 把恶意软件爆料日志和威胁情报报告做成可自动评分的多选题，用 LLM 出题加人工修订控制题质。

选题标准与判定

• 三条设计标准：高性能应转化为真实效率收益；评测可完全自动；题量要大到能可靠检出中等性能差异。实验本身没有测量 SOC 工时。
• 题型与准确率：两项都是多选题，可有多个正确项。准确率是选出全部正确项、且没有错误项的题目占比。附录另用 Jaccard，给与正确集合部分重叠的选择计分。
• 质量控制：迭代为 LLM 生成、人工复核、修改单题，并更新流水线。引言称附录说明人工复核协议，以及用 bootstrap 估计检验力与最小可检测效应；正文未给出这些效应的数值，也未给出质量阈值。

Malware Analysis

• 数据：在受控环境爆料针对 Windows 企业的公开恶意软件，使用 CrowdStrike Falcon Sandbox 产生的 Hybrid Analysis 报告。日志为 JSON，含进程、提取文件、静态签名检测等。
• 类别与规模：Table 1 有五类：EDR/AV KILLERS、RANSOMWARE、RAT-REMCOS Family、INFOSTEALERS、UM UNHOOKING。共 609 道问答。
• 出题：Llama 3.2 90B 根据报告合成访谈式问答，网络安全专家逐题校验并修改。正文写最多十个可能正确项；Appendix B 的随机基线按 9 个选项、正确项数 K=1 到 9 计算。
• 流程：Figure 2 是生成与修订步骤，Figure 3 是缩短后的示意题，不是完整沙箱 JSON。作者认为恶意文件日志上的能力也可能迁到非文件触发的日志，并称这有待更多日志来源检验。

Threat Intelligence Reasoning

• 输入与判定：每份报告按页给图像，一页一张。最多六个选项，可多选。准确率定义与恶意软件基准相同。Figure 6 是示意流程。
• 两种合成策略：使用 Llama 4 Maverick 与 Llama 3.2 90B。类别策略用人工定义的静态类别列表，让 LLM 就抽取文本出题，再校验清晰性、正确性和相关性。
• 关系策略：LLM 把报告文本做成类似图的关键关系表示，例子包括威胁行为者、恶意软件和技术，再抽样并人工校验，直到达到作者所说的、能使测试项准确率具有统计显著性的质量阈值。论文未给出该阈值。
• 规模：另有少量答案完全依赖图表的手工题。最终 588 题、45 份报告，类型包括 APT 活动分析、恶意软件技术报告和漏洞通告。Appendix C 中正确项数为 1 到 6 时，题数依次为 201、256、113、12、2、4。Figure 7 按来源画题数和报告数，正文未列出各来源计数。

运行设置与日志过滤

• 被测系统：OpenAI、Google、Anthropic、Meta、Deepseek 的近期模型，用原始参数，不微调。temperature、top_p、thinking level 保持提供方默认。大量回答无法解析时，按模型调整系统提示词以符合格式；论文未给出这些提示词。评分是与标准答案精确匹配，不是 LLM 裁判。
• 短上下文：Hybrid Analysis 报告常接近或超过部分模型的 128,000 token 窗口。可选过滤只保留作者列出的字段，签名描述截到 50 个字符，并把 32 字符哈希换成更短的字母哈希。Appendix D 列出保留字段。作者在第 4.1 节称缩略报告通常不会实质改变成绩。

作者在未微调的近期模型上给出两项总体准确率：恶意软件分析约 23-34%，威胁情报推理约 43%-53%，并称都远高于随机猜测，且评测远未饱和。逐模型分数在图中，正文未逐格列出。

实验设置

• 被测模型：OpenAI、Google、Anthropic、Meta、Deepseek 的近期模型，默认 temperature、top_p、thinking level，不微调。正文点名 o3、deepseek-r1、4o、gemini-2.5-pro；Figure 11 的讨论写共六个被测模型，其余名称未在正文列出。
• 恶意软件题：609 题，五类见 Table 1，来自针对 Windows 企业的公开样本在受控环境中的 Hybrid Analysis 报告。致谢写明该基准代码曾有错误，已更正，结果于 2025 年 10 月更新。Appendix B 的单选项基线使用 236/608，与正文 609 题不一致，论文未解释。
• 威胁情报题：588 题、45 份报告。主结果对应把报告作为多张图像输入。Appendix C 按 6 个选项计算随机基线。
• 指标：准确率要求选全且只选正确项。附录报告 Jaccard。图注给出 95% 置信区间，按正态近似，并写有可解析回答的 avg n 与行合计；正文未给出各模型可解析条数。
• 出题模型：Llama 3.2 90B；威胁情报另用 Llama 4 Maverick。专家人工修订。论文未报告重复次数、人工一致性或质量阈值数值。

主结果

下表只收正文写出的总体区间和随机基线。按难度、恶意软件家族、题目主题或报告来源的拆分在 Figure 8、Figure 9 与附录 A，正文未逐项给数字。

基准	准确率	随机基线
Malware Analysis	约 23-34%（Section 4.1，对应 Figure 8）	约 0.63%（Section 4.1；Appendix B）
Threat Intelligence Reasoning	约 43%-53%（Section 4.2，对应 Figure 9）	约 1.7%（Section 4.2；Appendix C 为 1.739%）

• 缩放：作者称更大、更新的 LLM 往往更好，并称这符合训练缩放规律。正文没有按参数量排序的表。
• 未饱和：作者称没有任何当前 LLM 使评测饱和，因此仍需为网络防御调模型。
• 选型：作者称模型间结果有差异，评测可帮助从业者选择 LLM。论文未给出方差数值。

多模态输入

• 设置：Section 5.2 与 Figure 10 比较同一威胁情报基准的准确率和平均 Jaccard：抽取文本、仅图像、文本加图像。第 4.2 节主结果对应图像输入。
• 结果：作者称所有实验模型上都是抽取文本优于仅图像；文本加图像与仅文本相近，有时略差。Figure 11 一道初始访问向量题：六个被测模型在图像形式下都答对；仅文本时只有 o3 答对；两种输入同时给时，只有 o3、4o、gemini-2.5-pro 答对。
• 作者解读：作者认为视觉模型在该基准上文本优于图像，说明经由其他模态读取文本仍有改进空间；同时给两种模态时，模型可能过度依赖文本。作者还称数据集偏向文本，另有少量纯视觉手工题。

测试时思考

• 比较：Section 5.3 把利用推理时思考的模型（例子为 o3、deepseek-r1）与其他模型比较。
• 结果：作者称没有观察到像编码和数学中那样更大幅度的影响，并称最初对此感到意外。论文未报告该对比的百分点差。
• 作者假设：测试时思考对防御结果可能重要，但也可能需要用安全相关数据和推理轨迹做针对性训练。作者认为这是改进安全领域基础推理的机会。

其他消融与分析

• Hybrid Analysis 过滤（Appendix D，Figure 15）：多数模型在全文上的顶线指标比缩略版高几个百分点；作者称未见统计显著的差异，并认为模型主要使用遥测的一个子集。
• 附录 A 的 Figure 12–14 给出总体准确率、Jaccard，以及按恶意软件家族和题目主题的拆分；正文未给出各项数字。
• 另一种随机策略：恶意软件只猜 1 项时期望准确率约 4.3%（Appendix B）；威胁情报每次猜 2 项时约 2.902%（Appendix C）。
• Section 5.1：作者认为文件执行触发的日志对无文件攻击也有信号，因为多数系统事件的日志足迹可以相同；同时写明 IP 外传、访问敏感资产等可能未覆盖。

作者写出的限制是多选题和基准分布不能直接代表生产任务，并计划扩展攻击类型、运行环境、非文本模态和分诊评测。

作者指出的局限与后续方向

• 多选题：不能完美代理自由作答，以及自行决定何时行动。作者为可重复性和可解释性接受真实性下降，并用较多选项、多个正确项降低猜中概率（Section 5.4）。
• 合成偏差：若被测模型与出题所用的 Llama 3、Llama 4 相同或相似，可能抬高表观成绩。作者称多代理流水线和大量人工修订之后，这仍是潜在偏差（Section 5.4）。
• 不能字面外推：基准上下文，以及攻击或相关情报的分布，可能不同于某企业或 SOC 的生产数据。作者称准确率不能字面预测生产指标，只提供相对的安全决策信号；组织仍可能需要内部测试集和进一步微调（Section 5.4）。
• 攻击与环境：作者计划加入无文件攻击遥测和敏感数据外传，并把目前的 Windows 系统日志扩到 Linux 与移动环境（Section 5.1、Section 5.5）。
• 模态与本体：作者计划增加必须联合文本与非文本输入才能答对的题。他们希望做实体抽取和关系映射，并称两项障碍是本体对不齐，以及映射真值有主观性；除 MITRE ATT&CK 外，没有普遍接受的安全概念框架（Section 5.5）。
• 分诊与新模型：作者希望增加事件响应和分诊评测，难点是“正确”优先级的主观性，以及既全面又现实的业务上下文。作者还想看研究完成后发布的 Claude 4、GPT-5、Foundation-Sec-8B 在本基准上的表现（Section 5.5）。

实验覆盖范围

• 已完成两项：Malware Analysis 为 609 题，五类见 Table 1，日志来自 Windows 样本的 CrowdStrike Falcon Sandbox / Hybrid Analysis；Threat Intelligence Reasoning 为 588 题、45 份报告（Section 3）。
• 被测方为 OpenAI、Google、Anthropic、Meta、Deepseek 的近期模型，不微调，temperature、top_p、thinking level 用提供方默认值。正文点名 o3、deepseek-r1、4o、gemini-2.5-pro；Figure 11 讨论写六个被测模型（Section 4、5.2）。
• 主指标是全对才计分的准确率，附录另报 Jaccard；随机基线在 Appendix B、C。图注为 95% 置信区间，按正态近似。
• 另比较了报告的图像、抽取文本和两者同时（Figure 10），以及 Hybrid Analysis 全文与字段过滤（Figure 15、Appendix D）。
• 论文未报告重复次数、人工一致性、质量阈值数值，也未在正文逐模型列出准确率。出题写明用 Llama 3.2 90B 与 Llama 4 Maverick，流水线限于 Llama 3 与 Llama 4。

作者提出开源基准套件 CyberSOCEval，作为 CyberSecEval 4 的一部分，衡量 LLM 对 SOC 相关人工工作的支持程度。作者称据他们所知，这是首个聚焦代表性 SOC 活动的开源 LLM 基准。

• 问题：现有评测对恶意软件分析和威胁情报推理覆盖不完整；部分 SOC 研究未开源，工控开源基准又不覆盖更一般场景。
• 做法：两项都是多选题，必须选全且只选正确项。恶意软件侧用沙箱 JSON，609 题，由 Llama 3.2 90B 出题后经专家修订。威胁情报侧把 45 份报告按页转成图像，588 题，由 Llama 4 Maverick 与 Llama 3.2 90B 按类别或关系生成，另有少量纯图表手工题。
• 结果：在未微调、默认超参数的近期模型上，作者称恶意软件分析准确率约 23-34%，对照随机基线约 0.63%；威胁情报推理约 43%-53%，对照约 1.7%。逐模型分数在 Figure 8、Figure 9。
• 其他发现：作者称更大、更新的模型往往更好；o3、deepseek-r1 等推理模型没有出现编码和数学中那种提升。抽取文本优于仅图像。全文与过滤日志之间，作者称未见统计显著的差异。
• 结论：作者称评测远未饱和，可为模型开发提供改进方向，也可供从业者比较模型。作者同时称成绩不能字面预测某一 SOC 的生产指标，组织仍可能需要内部测试集和进一步微调。