Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2609.19722· Hyeongjun Choi, Wonyoung Jung, Haehoon Seo, Sungyup Nam·Indexed by this site · Originally published

ALIBI:向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判

ALIBI: Adversarial Legitimacy Injection in Binary Input against LLM Malware Analyzers

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

ALIBI向恶意PE注入不执行掩护叙事,在Gemini 2.5 Pro上将35个基线恶意样本中的30个翻为benign。

Threat modelblack-box静态分诊。攻击者可提交编译后修改的二进制并观察判决、置信度与推理轨迹,不能查看system prompt、模板、权重、解码参数或后处理。

Questions
恶意软件分诊用LLM解释静态证据并给出判决,但字符串、section和元数据部分由样本作者控制。直接覆盖指令已被frontier模型拒绝,作者要看连贯的虚假安全产品叙事能否仍改变判决。
Methods
ALIBI在编译后加入小型不执行只读内容,组合身份伪造、行为理由和元数据对齐,把可疑证据重释为端点安全工具的预期行为。不改import与可执行行为,主评测每样本一次查询。
Experiments and results
锁定N=35的PE上,Gemini 2.5 Pro的Strict ASR为85.7%,GPT-5.5 Pro与Claude为0,Soft ASR为71.4%和42.9%。ELF上Gemini为40%。防御提示词后仍有42.9%到benign。
Limitations and future work
作者写明样本只有PE与ELF,未评完整溯源检查管线,且掩护语气排序只在Gemini 2.5 Pro上测量。PE为50、ELF为40。置信度是模型自报。交叉模型ASR分母是Gemini锁定的N=35,不是各模型自己的基线。
Experimental setupGemini 2.5 Pro、GPT-5.5 Pro et al. · MalwareBazaar frozen malicious PE set (50)、MalwareBazaar frozen malicious ELF set (40) · Strict ASR、Soft ASR et al.
Threat model
black-box静态分诊。攻击者可提交编译后修改的二进制并观察判决、置信度与推理轨迹,不能查看system prompt、模板、权重、解码参数或后处理。只增加不执行的静态内容并设置部分元数据,须保持可执行行为。主评测每样本一次查询,载荷预先固定。
Evaluated models
Gemini 2.5 ProGPT-5.5 ProClaude Opus 4.7
Benchmarks
MalwareBazaar frozen malicious PE set (50)MalwareBazaar frozen malicious ELF set (40)
Metrics
Strict ASRSoft ASRMean ∆-tierself-reported confidence
AI summary研究者提出 ALIBI,一种针对前沿 LLM 恶意软件分析器的语义伪装攻击:在编译后的二进制中加入一小段不执行的只读区段,写入连贯但虚假的安全产品叙事,不改变导入表或可执行行为,从而把可疑证据重新包装成良性终端安全工具的预期行为。在 50 个恶意 PE 样本上,该载荷使 Gemini 2.5 Pro 把 35 个基线恶意样本中的 30 个翻转为良性;GPT-5.5 Pro 与 Claude Opus 4.7 即使保留判定标签,也出现明显严重度降级与置信度下降。攻击可迁移到 ELF 二进制,Gemini 在 40 个样本中翻转 16 个。验证引导的防御提示大致将良性判定减半,但仍有 42.9% 的恶意样本被判为良性。作者认为 LLM 恶意软件分析器需要来源校验,把已验证事实与攻击者可控声明区分开。

研究者提出 ALIBI,一种针对前沿 LLM 恶意软件分析器的语义伪装攻击:在编译后的二进制中加入一小段不执行的只读区段,写入连贯但虚假的安全产品叙事,不改变导入表或可执行行为,从而把可疑证据重新包装成良性终端安全工具的预期行为。在 50 个恶意 PE 样本上,该载荷使 Gemini 2.5 Pro 把 35 个基线恶意样本中的 30 个翻转为良性;GPT-5.5 Pro 与 Claude Opus 4.7 即使保留判定标签,也出现明显严重度降级与置信度下降。攻击可迁移到 ELF 二进制,Gemini 在 40 个样本中翻转 16 个。验证引导的防御提示大致将良性判定减半,但仍有 42.9% 的恶意样本被判为良性。作者认为 LLM 恶意软件分析器需要来源校验,把已验证事实与攻击者可控声明区分开。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    LLM分诊把攻击者可控的静态证据当事实,ALIBI用掩护叙事重释可疑行为。

    LLM 恶意软件分析器会把二进制中攻击者可控的字符串和元数据,当成解释可疑行为的事实。

    • 场景:作者称分诊正把 frontier LLM 用作推理组件,汇总静态证据并给出面向分析员的判决。VirusTotal Code Insight、Microsoft Defender 中的 Copilot 及若干学术系统都沿此方向;证据路径部分由样本作者控制。
    • 已有做法:作者称命令式覆盖的 token-level 注入已被 frontier 模型拒绝,文中所举在野样本的覆盖文本也被识别并拒绝。传统对抗恶意软件主要改数值特征或隐藏证据,不针对其上的自然语言推理。
    • 核心观察:作者认为,模型可以拒绝要求判成良性的指令,但仍可能接受自洽叙事,把 hook、屏幕捕获、剪贴板和持久化解释成端点安全产品的预期行为。引言称在 Gemini 2.5 Pro 的同一 35 个基线恶意样本上,token-level 覆盖翻转为 0,ALIBI 为 30。
    • 提出的方法:ALIBI 在编译后向 PE 或 ELF 加入小型、不执行的只读内容,声称良性安全工具身份,为可疑 API 提供操作说明,并对齐部分元数据;不改 import,也不改可执行行为。
    • 威胁模型:
      • 目标:在静态分诊中把基线 malicious 样本翻成 benign,或降到任何非 malicious 判决;判决不变时的置信度下降也计入效果。
      • 知识:论文称为 black-box。攻击者看不到 system prompt、prompt template、权重、解码参数和后处理,但可提交修改后的二进制并观察输出。
      • 能力:仅编译后修改。PE 可加不执行的只读 section 并设置部分元数据;ELF 用格式对应的静态、不执行内容。须保持可执行行为。主评测每样本一次查询,载荷事先固定,不做逐样本自适应搜索。
      • 受害系统:evidence builder 解析二进制并输出结构化证据,frontier LLM 返回判决、置信度和自然语言推理轨迹。作者称该攻击本身不针对动态执行、沙箱、签名校验或人工逆向。
  2. What related research exists?

    相关工作覆盖LLM分诊、间接提示注入与保功能对抗样本;本文打自然语言推理层。

    论文把相关工作分成 LLM 分诊、间接提示注入和对抗恶意软件三类。

    • LLM 恶意软件分诊:Fujii 与 Yamagishi(2024)研究用 LLM 解释支持静态分析;Marais 等(2025)用面向专家的 JSON 报告做语义预处理;He 等(2025)以结构化函数摘要和恶意分数评测代码 LLM 的 Android 恶意软件分析。Jelodar 等(2026)综述 LLM 用于恶意代码分析与逆向。同节还提到传统管线使用头、import、字符串、熵、签名或动态轨迹。作者称实用系统因上下文限制,只把选中的证据交给模型,ALIBI 利用的就是这条部分由攻击者控制的路径。
    • 间接提示注入:Greshake 等(2023)、Liu 等(2023)及 OWASP LLM01:2025 描述把文本放进模型稍后消费的外部数据。Liu 等(2024)形式化并基准化提示注入。Check Point Research(2025)记录在野样本 Skynet 在二进制中嵌入 token-level 注入,覆盖被识别并拒绝。作者称 ALIBI 在通道上属于间接注入,机制则是连贯叙事,而不是命令式覆盖短语。
    • 对抗恶意软件:Raff 等(2017)、Kolosnjaji 等(2018)、Suciu 等(2019)研究原始字节检测器与基于梯度的字节扰动;Demetrio 等(2021)在保持功能的前提下向 PE 注入良性内容;Pierazzi 等(2020)分析特征空间攻击与问题空间约束的差距。作者称 ALIBI 共享保功能约束,但目标是证据之上的自然语言推理层,而不是数值特征。
    • 对比设置:对照包括 token-level 提示注入变体、三种掩护语气和 Windows Defender;防御实验对照无防御提示词与验证导向提示词。样本来自 MalwareBazaar 的冻结恶意 PE(50)和 ELF(40)。

    作者把本文定位为:既非隐藏静态证据的打包或混淆,也非被拒绝的 token-level 覆盖,而是在证据仍可见时改变模型对证据的语义解释。

  3. How does the paper address this problem?

    ALIBI在编译后加入不执行的只读掩护叙事,用身份、理由和元数据三种伪造重释可疑证据。

    ALIBI 在编译后的二进制里加入不执行的掩护叙事,使推理模型把仍可见的可疑静态证据解释成良性安全产品的预期行为。

    设计约束与三个组件

    • 连贯性:载荷须内部一致,并与样本真实静态指纹相容。作者称矛盾字符串或不合理元数据会让模型把文件标成伪装。内容为静态、不执行字节,import table 与 import address table 不改。
    • Identity Forgery:写入公司名、产品名、内部名与原始文件名、构建路径、构建通道,以及遥测或更新端点。作者规定:所声称产品须是真实生产软件,且预期 API 画像与目标二进制的静态指纹相近;构建路径须像发布流水线产物;主机名须来自该产品可公开观察到的真实基础设施,以便模型用已有知识核对。
    • Rationale Forgery:用发行说明式散文解释可疑行为,而不是直接给 API 名加注释。作者称更早点名 API 的变体,被偏验证的模型认成针对逆向人员的自辩评论。类别在抽样本前固定,覆盖进程内省、文件系统监控、持久化、防篡改和遥测信标,不按逐样本基线输出调参。
    • Metadata Forgery:对齐版本字符串、COFF 时间戳和文件大小。版本遵循所声称产品的生产版本方案;时间戳落在该版本的合理发布窗口;文件填充向真实生产构建的大小分布靠拢,填充为只读、低但非零熵。作者称三者只组合评测,不单独当攻击评测。Table 1 列出各组件对准的分析器表面。

    掩护语气

    • 三类:学术样本语气只声称良性、不解释可疑 API;渗透测试 PoC 语气把行为说成授权测试;EDR self-test 语气把 hook、屏幕捕获、剪贴板、持久化和远端端点说成所声称产品类的预期操作。
    • 选择:作者认为效果来自叙事与已有静态指纹对齐,而不是只靠厂商标识。PE 后续实验采用 EDR self-test;跨格式时把同一 self-test 框架改写成 Linux 端点安全代理叙事。
    • 范围:语气实验只用身份声称和行为叙事,不含额外伪造组件。集成载荷才把三个组件一起用。

    实现足迹

    • 单次修改:用 LIEF 解析并写回,无迭代精炼,不依赖源码或构建环境。不用打包、运行时加密或代码混淆,也不改可执行代码、控制流或运行时行为。
    • PE:新增一个只读已初始化数据 section;覆盖 COFF 时间戳,若有调试目录则同步其时间戳;重建时不碰 import table 与 import address table。
    • ELF:新增 PROGBITS section,设 SHF_ALLOC,使遍历 section header 的工具能看到内容,但不加入任何 PT_LOAD。作者称运行时内存映射因此不变。若有 .comment,则改成与所声称产品一致的构建标识。无 COFF 时间戳,时间窗规则只通过字符串字段实现。动态符号表与过程链接表不改。
    • 边界:import 表、动态链接器解析结构、入口点和全部可执行 section 保持未改。作者称运行时控制流由上述构造保证,而不是另行做动态验证。文中把该 section 概念上称为 .alibi;实现使用编译器惯用名,因为异常 section 名本身会成为注入信号。

    成功判定

    • 输出:模型给出 benign、unknown、suspicious、malicious 之一,以及 [0, 1] 的自报置信度和短推理。指标排序为 benign < unknown < suspicious < malicious。作者称这反映防御响应,不是样本固有严重度;unknown 是弃权。
    • Strict ASR:基线为 malicious 且攻击后为 benign 的样本占比,即式 (1)。Soft ASR:基线为 malicious 且攻击后不再是 malicious 的占比,即式 (2)。mean tier shift 把四档编成 0 到 3,在恶意基线子集上计算离开 malicious 档的平均深度;0 为无下降,3 为全部翻成 benign。
    • 置信度:只在判决标签不变的样本上做双侧配对 Wilcoxon signed-rank 检验。样本量允许时用精确 p,否则用渐近 p;零差对剔除。文中报告的 p 未校正,以 α=0.05 判断。
    • 预算:主评测每样本一次查询、每模型单次调用,启用 reasoning 或 thinking mode,不做多次采样或多数投票。
  4. What experiments did the paper conduct?

    PE锁定子集上Gemini的Strict ASR为85.7%,GPT与Claude为0,但Soft ASR仍高。

    实验设置

    • 模型:Gemini 2.5 Pro 用于全部 PE 实验;GPT-5.5 Pro 与 Claude Opus 4.7 从跨模型、跨格式阶段进入。三者启用 reasoning 或 thinking mode,每样本单次调用,无多次采样或多数投票。
    • 样本:MalwareBazaar 冻结恶意 PE 50、ELF 40,顺序与成员在攻击评测前固定。基线是分析器对未修改二进制的输出。Gemini 2.5 Pro 在 PE 上对 35/50 给出 malicious;此后 PE 分析的分母锁定为这 35 个。
    • 分母:跨模型比较一律用 Gemini 的基线,不用各模型自己的基线,分母为固定 N=35。ELF 的 Table 2 分母是全部 N=40 恶意 ELF 集。论文未说明 ELF 上各模型自己的基线判决分布。
    • 证据与对照:同一 evidence builder 处理原始文件与攻击文件,JSON 含文件元数据、section 元数据、导入符号和可打印 ASCII 字符串。对照包括三种掩护语气、token-level 注入变体、Windows Defender,以及验证导向提示词。
    • 指标:Strict ASR、Soft ASR、mean tier shift;置信度从模型 JSON 直接解析。判决和置信度都由被测模型自报,论文未使用独立评审模型。Wilcoxon 为双侧配对,α=0.05,报告的 p 未校正;作者另称三个同判决检验在 Holm 校正后仍低于 α。
    • 防御臂:6.3 节在同一模型快照、同一锁定 N=35 上并发比较。提示词把字符串、section 名和元数据声明为攻击者可控,要求自声称须验证,且不提及掩护叙事。该段未再点名模型;5.1 节写 Gemini 2.5 Pro 用于全部 PE 实验。

    主结果

    集成载荷,据 Table 2。PE 行的基线判决来自 Gemini,不是各模型自己的基线。

    Swipe horizontally to read the table

    格式模型Strict ASRSoft ASRMean ∆
    PEGemini 2.5 Pro85.7%88.6%2.60
    PEGPT-5.5 Pro0.0%71.4%0.80
    PEClaude Opus 4.70.0%42.9%0.43
    ELFGemini 2.5 Pro40.0%45.0%1.25
    ELFGPT-5.5 Pro0.0%2.5%0.05
    ELFClaude Opus 4.70.0%7.5%0.10
    • 三种响应:作者称这些数字不应被读成鲁棒性排名,并把三模型分别称为 trust collapse、confidence erosion、assertive resistance。Figure 3 图注称 Gemini 落到 benign,GPT 收敛到 suspicious,Claude 大多保持 malicious;正文未给出各柱百分比。
    • Strict 的口径:作者称 Strict ASR 只计 malicious 到 benign,会低估拒绝给出 benign 标签的模型。作者认为在分诊队列里,非 malicious 判决仍可能改变优先级。
    • 格式:作者认为幅度同时取决于模型,以及掩护叙事与静态指纹是否对齐。作者称 PE 的 Windows 端点行为更适合 EDR self-test,ELF 更接近 IoT 僵尸网络指纹,对齐更不完整。Figure 4 标出的 Soft ASR 与 Table 2 一致。摘要中的 30/35、16/40 分别对应 Gemini 的两行 Strict ASR。

    掩护语气

    Figure 2,仅 Gemini 2.5 Pro,锁定 N=35,只有身份声称和行为叙事,无额外伪造组件。

    • Strict ASR:学术样本 40.0%,渗透测试 PoC 51.4%,EDR self-test 82.9%。作者称后两者相差 31.4 个百分点。
    • Soft ASR 顺序不同:学术 68.6%,高于 PoC 的 60.0%,尽管 Strict ASR 更低。作者认为学术语气更多停在 suspicious,PoC 更多一路翻到 benign。
    • 与集成载荷的差别:EDR 语气的 Strict 82.9% 与 Soft 85.7% 接近。作者称分析器仍看得到可疑证据,但模型把它映射进良性故事。该设置不是 Table 2 的集成载荷。

    同判决置信度

    Table 3,标签不变样本上的双侧配对 Wilcoxon。正的 ∆ 表示攻击后置信度下降。破折号表示组大小不够计算统计量。

    • GPT-5.5 Pro:mal→mal,∆=0.074,N=10,p=0.001;sus→sus,∆=0.068,N=9,p=0.010。
    • Claude Opus 4.7:mal→mal,∆=0.019,N=20,p=0.021。sus→sus 的 N=1,论文未给出统计量。
    • Gemini 2.5 Pro:mal→mal,∆=0.000,N=4,论文未给出 p;sus→sus 的 N=1,同样未给出。作者称它不降判决时置信度不变,呈全有或全无。作者报告 0.001、0.010、0.021 在三个同判决检验的 Holm 校正后仍低于 α=0.05,并称只记录判决标签的监控会漏掉这一效果。

    验证导向提示词

    • 结果:Strict ASR 从 82.9%(29/35)降到 42.9%(15/35),Soft ASR 从 88.6%(31/35)降到 62.9%(22/35)。
    • 检验:作者报告全部不一致对都偏向防御臂。只在无防御臂到达 benign 的有 14 个,只在防御臂的为 0(双侧精确 McNemar,p=0.0001);Soft 对应为 9 与 0(p=0.0039)。
    • 作者的对照说明:无防御臂复现早先 88.6% Soft ASR,Strict 为 82.9%,与早先 85.7% 相差一个样本。作者称提示词加固把攻击压下一截,但未关闭。摘要写该提示词大致把 benign 判决减半,但 42.9% 仍到达 benign。

    其他消融与分析

    • token-level 注入:引言称在 Gemini 2.5 Pro 上,嵌入显式覆盖字符串的变体把 35 个基线恶意样本中的 0 个翻成 benign,ALIBI 翻了 30 个。论文未在独立表中给出该变体的 Soft ASR。
    • Windows Defender:同一 PE 修改后,原先检出的 39 个里有 10 个不再被检出(5.6 节)。作者称机制是 section、字符串和元数据扰动了签名与启发式所用的文件级特征,不是语义解释掩护叙事。Defender 对 40 个基线 ELF 的检出为 0,作者称 ELF 结果不可比。
    • 负面试点:Table 4 样本数小,作者称不用作主统计结果,未报告各行样本量。观察到的机制包括:矛盾证据被当成伪装;时间戳与版本冲突成为不可信元数据;良性 import 稀释暴露操纵并露出原始字符串;重复良性法律文本被认成填充;very low entropy 填充被当成可疑数据。
    • 作者归纳的条件:叙事须与行为同向;理由须针对具体可疑线索,而不是泛泛的良性声称;操纵足迹须小。作者称违反任一条会把载荷变成检测信号。论文未报告这些试点的 ASR。
  5. What are some points that can be further explored?

    作者写明未评完整溯源管线,样本不含Mach-O等格式,且语气排序只在Gemini上测量。

    作者指出的局限与后续方向

    • 格式:样本覆盖 Windows PE 与 Linux ELF,不包括 Mach-O、脚本、文档宏或源代码仓库(7.3)。
    • 模型:作者写明最强结果测在 Gemini 2.5 Pro 上(7.3)。
    • 防御实现:防御分析基于观察到的推理模式和提出的架构改动;评了提示词层加固,未评完整溯源检查管线,因为 evidence builder 目前不输出已验证证据字段(7.3)。
    • 外推:作者称 PE 50、ELF 40 能暴露大效应和配对差异,但不能支持跨恶意软件家族的普遍发生率主张(7.3)。
    • 证据抽象:分析器收到的是结构化静态证据,不是原始字节。作者认为这符合生产约束,但另一种 evidence builder——抑制自辩字符串、暴露已验证溯源字段,或加入更丰富的结构特征——可能改变结果(7.3)。
    • 指标:置信度是模型自报,不是 token logit;mean tier shift 把四档当成间距为 1 的整数,并假定每一步升级变化相等;unknown 是弃权,编码把高、低置信弃权并成一档。掩护语气实验只在 Gemini 2.5 Pro 上做,GPT-5.5 Pro 与 Claude Opus 4.7 的语气排序没有直接测量(7.3)。

    实验覆盖范围

    • 模型与检测器:推理组件为 Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7;Gemini 用于全部 PE 实验,后两者从跨模型与跨格式进入(5.1)。另有 Windows Defender 的旁路比较(5.6)。
    • 数据与分母:MalwareBazaar 冻结恶意 PE 50、ELF 40。PE 的 ASR 分母是 Gemini 基线 malicious 的锁定子集 N=35;跨模型比较不用各模型自己的基线。ELF 的 Table 2 分母是全部 N=40(5.1,Table 2)。
    • 协议:主评测每样本一次查询、每模型单次调用,启用 reasoning 或 thinking mode,无多次采样或多数投票(第 3 节,5.1)。判决由被测模型自报,论文未使用独立评审模型。
    • 防御:6.3 节在同一模型快照上对照验证导向 system prompt,N=35,含双侧精确 McNemar。作者写明未评测会输出已验证证据字段的完整溯源管线(6.3,7.3)。
    • 论文未报告的量:ELF 上各模型自己的基线 malicious 计数、token 级 logit、Table 4 试点的样本量,以及对可执行行为的动态验证。作者称控制流由构造保持(4.4.3)。文末写明闭源模型行为取决于提供方内部更新。
  6. Summarize the main content of the paper

    ALIBI用二进制内的掩护叙事重释可疑静态证据,Gemini上翻转多,另两模型主要为降级。

    ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击:不覆盖系统指令,而把仍可见的可疑静态证据重释成良性安全产品的预期行为。

    • 问题:分析器消费的字符串、section 名、import 和元数据部分由样本作者控制。作者认为,已能拒绝命令式覆盖的 frontier 模型,仍可能接受与静态指纹对齐的连贯叙事。
    • 做法:编译后加入小型不执行只读内容,组合身份伪造、可疑行为的散文理由和元数据对齐;不改 import 与可执行行为。设定为 black-box、每样本一次查询。PE 采用 EDR self-test 语气,ELF 改写成 Linux 端点安全代理叙事。
    • PE:锁定的 35 个 Gemini 基线恶意样本上,集成载荷使 Gemini 2.5 Pro 的 Strict ASR 为 85.7%(30/35)、Soft ASR 为 88.6%。同一分母下 GPT-5.5 Pro 与 Claude Opus 4.7 的 Strict ASR 为 0,Soft ASR 为 71.4% 与 42.9%(Table 2)。作者称这是三种响应模式,不是鲁棒性排名。
    • 其他测量:同一模型上,token-level 覆盖注入的 benign 翻转为 0/35。ELF 上 Gemini 的 Strict ASR 为 40.0%(摘要 16/40)。验证导向提示词把 Strict ASR 从 82.9%(29/35)降到 42.9%(15/35)。同一 PE 修改使 Windows Defender 原检出的 39 个中有 10 个不再检出。GPT 与 Claude 在标签不变时有作者报告的置信度下降;Gemini 在不降判决时 ∆=0.000(N=4)。
    • 作者结论:作者认为 LLM 恶意软件分析器不能把嵌入的自然语言当成可信解释。evidence builder 应把攻击者可控的声称和解析器核对过的事实分开;只靠提示词怀疑仍留下 42.9% 的样本到达 benign。作者同时认为,这不表示 LLM 辅助分析不可用。
Read originalarxiv.org