Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:越狱、提示注入、投毒与防御· arXiv:2609.29130· Daiki Chiba·Indexed by this site · Originally published

ClaimMirage:域名中的自我声明如何改变 LLM 威胁判断

ClaimMirage: When Self-Claims in Domain Names Change LLM Threat Judgments

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

自述声称相对对照改变告警;Llama、Classifier、Full、Raw、注册域名否认差 45.3 个百分点。

Threat model攻击者自选未经许可的仿冒域名,可用自注册域或委托子域,不能改官方域;文本是安全或授权声称,不是改任务指令。

Questions
安全应用让 LLM 只凭候选域名决定是否告警。攻击者可在仿冒名里写入安全或授权短声称,且不含改写任务的指令。作者要测量这类自述是否改变告警。
Methods
作者称该操纵为 ClaimMirage。64 个品牌的仿冒名把十个声称放在子域或注册标签,并与等字符、等连字符的对照、中性标签和未改名比较。18 种提示设置覆盖任务措辞、参考和呈现,五款 LLM 各判两轮。
Experiments and results
622,080 次判定里,声称既可减少也可增加告警。Classifier、Full、Raw 下,Llama 注册域名否认类少 45.3 个百分点;无参考时同位置背书类多 65.6 个百分点。组件标注会去掉部分差值,也会留下或加大另一些。
Limitations and future work
作者称结果不能确立真实攻击成功或注册可行性;固定品牌、词和一种命名模式,官方域是较窄良性集,参考假定匹配正确,且未评测核验与所引防御。覆盖五款 LLM、64 品牌、18 种提示设置和两轮判定。
Experimental setupLlama 3.3 70B Instruct-Turbo、Gemma 3 4B it et al. · 64-brand constructed domain names、64 official domains (benign comparison set) · alert-rate gap (pp)、paired evasion (/64) et al.
Threat model
攻击者自选未经许可的仿冒域名,可用自注册域或委托子域,不能改官方域;文本是安全或授权声称,不是改任务指令。目标为相对匹配对照减少告警,告警增加不算逃避成功。受害LLM每次只判一个名;应用设定措辞、可选品牌与官方域及呈现。无网页、DNS、所有权或信誉证据,只输出是否告警。
Evaluated models
Llama 3.3 70B Instruct-TurboGemma 3 4B itGemma 3 12B itGemma 3 27B itgpt-oss-20b
Benchmarks
64-brand constructed domain names64 official domains (benign comparison set)
Metrics
alert-rate gap (pp)paired evasion (/64)false-alert ratebase-name alert raterepeated-input disagreement
AI summary研究提出 ClaimMirage 现象:被检查的域名通过 not-phishing、official 等简短自我声明,无需显式提示注入指令即可改变大语言模型对该域名的威胁判断。作者在 64 个品牌、5 个 LLM 上分析了 622,080 次判断,将十种声明与长度和连字符匹配的对照项在构造的品牌类域名中比较。结果显示自我声明会大幅降低或提高告警,取决于模型和输入设置:在一种设置下,可注册域名中的风险否认词使告警下降 45.3 个百分点,即使提示中已给出可能被冒充的品牌及其官方域名作对照;若缺少这些参照,同一模型在该位置的背书类词使告警上升 65.6 个百分点。提供参照和组件标注能消除部分告警下降,但另一些仍然存在甚至更大。

研究提出 ClaimMirage 现象:被检查的域名通过 not-phishing、official 等简短自我声明,无需显式提示注入指令即可改变大语言模型对该域名的威胁判断。作者在 64 个品牌、5 个 LLM 上分析了 622,080 次判断,将十种声明与长度和连字符匹配的对照项在构造的品牌类域名中比较。结果显示自我声明会大幅降低或提高告警,取决于模型和输入设置:在一种设置下,可注册域名中的风险否认词使告警下降 45.3 个百分点,即使提示中已给出可能被冒充的品牌及其官方域名作对照;若缺少这些参照,同一模型在该位置的背书类词使告警上升 65.6 个百分点。提供参照和组件标注能消除部分告警下降,但另一些仍然存在甚至更大。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    自述安全或授权声称,可在无改写任务指令时改变 LLM 的域名告警。

    域名中的自述安全或授权声称,可在没有改写任务指令时改变 LLM 是否对候选域名告警。

    • 使用场景:安全应用把告警或日志里的域名交给 LLM,决定是否调查。作者认为写名称的人同时写下了安全或批准说法;相关应用还包括页面检查和搜索链接评估,但本文只测是否告警。
    • 已有不足:作者称注入指令和欺骗性链接可以影响 LLM 应用,基于 LLM 的搜索也会接受虚假官方站点声称。只与原名比会混入长度和外观,因此改为与等长、等连字符的词比较。
    • 核心设定:自述声称指向被判定的属性,但不确立安全或授权。作者把攻击者写入受检名的安全或批准声称称为 ClaimMirage。
    • 测量内容:在 64 个品牌和五款 LLM 上比较十个声称与匹配对照,并变化任务、参考和呈现,收集 622,080 次判定。
    • 威胁模型:
      • 目标:相对含对照词的相似名减少告警。告警增多不算成功逃避。
      • 能力:可选择未经许可的仿冒名,使用自注册域或委托子域,不能修改官方域。添加的是声称,不是改写任务的命令。
      • 受害系统:安全应用每次提交一个候选名,并设定任务措辞、可选的品牌与官方域参考,以及名称如何呈现。
      • 模型所见:无网页、DNS 响应、所有权记录或信誉证据。输出布尔值,true 为告警。不告警不表示品牌已批准该名。
  2. What related research exists?

    相关工作覆盖仿冒域名、LLM 钓鱼检测、攻击者可控文本和若干注入防御。

    域名仿冒

    • 拼写与加词:typosquatting(Agten 等,2015)用错误拼写模仿品牌;combosquatting(Kintis 等,2017)把品牌名与其他词组合。背景部分用它们描述官方域之外的相似名。

    LLM 检测与取证

    • 检测器:PhishIntention(Liu 等,2022)结合视觉模型与网页交互识别凭据收集;PhishLLM(Liu 等,2024)经搜索核对品牌—域名关联并分析页面行为;DomainLynx(Chiba 等,2025)用 LLM 比较名称与品牌参考;ChatPhishDetector(Koide 等,2024)分析 URL 与网页表示;ChatSpamDetector(Koide 等,2026)分类钓鱼邮件。
    • 外部证据:ScamFerret、PhishLumos、PhishParrot(2025–2026)分别调查诈骗网站、关联钓鱼基础设施,或调整爬取以接触隐蔽内容。作者称这些应用的证据和决策规则不同,本文只测由候选域名发出告警。

    措辞、否定与攻击者文本

    • 模型输入:作者提到训练语料中的网页可把品牌连到官方域(Brown 等,2020),否定基准测试语言理解(García-Ferrero 等,2023),输入设计会影响输出(Sclar 等,2024)。
    • 可控文本:间接提示注入(Greshake 等,2023)把攻击者文本写入应用数据;Liu 等(2024)与 AgentDojo(Debenedetti 等,2024)度量其影响;IHEval(Zhang 等,2025)测试系统与用户消息冲突时的指令优先级。Luo 等(2025)写基于 LLM 的搜索会接受虚假官方站点声称。LogInject(Karanjai 等,2026)用日志字段改变安全分析;Web Fraud(Kong 等,2026)用欺骗性地址引导智能体。

    防御与本文对照

    • 所引防御:InjectDefuser(Koide 等,2026)组合提示加固、允许列表检索增强和输出校验。StruQ(Chen 等,2025)分离结构化指令与不可信数据;DataSentinel(Liu 等,2025)针对自适应注入训练检测器;Task Shield(Jia 等,2025)检查指令和工具调用是否服务用户目标。
    • 对照:不是上述检测器,而是 Table I 的字符与连字符匹配对照、中性标签、未改基础名,以及 64 个官方域组成的良性比较集。

    作者把本文定位为:在可选品牌与官方域参考下测量域名判定,不爬取、不重新训练;短自述不含改变任务的指令,并在两个名称位置上对照匹配词,同时变化任务措辞、参考和呈现。

  3. How does the paper address this problem?

    用匹配对照和 18 种提示设置,测量两处自述声称造成的告警率差。

    整体是受控词表测量,不是搜索攻击提示。作者将攻击者在受检域名中加入安全或批准短声称称为 ClaimMirage。声称不含改写任务的指令,也不代替授权证据。

    问题设定与形式化

    • 应用接口:安全应用每次提交一个完全限定域名(FQDN)。系统消息含任务、可选参考和固定 JSON 要求;用户消息只给一个名字。模型返回带 id 的布尔 flag,true 表示告警。
    • 抽取:从要求的 JSON 对象或单元素数组中取与 id 匹配的显式布尔值,允许代码围栏,拒绝重复键或冲突 flag。
    • 逃避方向:相对匹配对照减少告警才算作者定义的逃避方向;告警增加不算成功逃避。不告警不证明品牌批准了该名。

    候选名与词表对照

    • 基础名:每个品牌一条预先定义的拼写错误,基础结构含 developer-test,构造候选的 TLD 一律为 .com。作者称该措辞既可像合法测试服务,也可像仿冒。请求不声明未授权,评测仍把这些名字当作未经许可的模仿。
    • 两个位置:声称可作子域,注册域名不变,对应委托访问;或写入注册标签、紧挨 .com 之前,从而成为另一个待注册域。Figure 1 的两处都在官方域之外。
    • 三类比较:Table I 有五条风险否认词和五条背书词。匹配对照保持字符数和连字符数;否认对照保留 not-,但否定的不是安全属性。中性标签只保持长度和连字符。未改基础名用来看加入任意文本的变化。
    • 固定项:每个比较只改加入的词。作者写明比较不能把词义与分词、熟悉度或合理性分开。26 个字符串乘两个位置,再加基础名和官方域,每品牌每设置 54 个候选;共享对照的判定会复用。每个名字单独请求。

    三个提示因素

    • 任务措辞:Classifier role、Risk assessment、Threat decision 是三段完整措辞,分别指定分诊角色、要求风险评估、要求是否标记。比较改变的是整段措辞。
    • 参考:Full 为品牌加其官方注册域,另有仅品牌和无参考。去掉参考时,依赖参考的从句也会改写;作者称参考效应包含这些必要措辞变化。参考提供比较上下文,不是所有权检查或威胁裁决。
    • 呈现:Raw FQDN 把完整名字作为一串。标注组件拆开标签,并加上 Table IV 的读法说明;两项改动一起评估。public_suffix 在全部被测名上就是 TLD。两种呈现都不加入所有权证据。
    • 组合:Table II 为 3×3×2=18 种设置。保存的请求保留每个实际传送的组合。

    采集与告警差

    • 模型与解码:Llama 3.3 70B Instruct-Turbo(FP8),Gemma 3 4B 与 12B it(BF16),Gemma 3 27B it(FP8),gpt-oss-20b(BF16,medium reasoning)。2026 年 9 月经 DeepInfra 采集,温度 0。Llama 与 Gemma 输出上限 1,800 token,gpt-oss-20b 为 16,384。作者称精度、架构和服务差异使结果不能只归因于参数量。
    • 规模:每个不同候选每轮一次、两轮,5×64×18×54×2=622,080。日程交错修改名、基础名和官方域。最初 600 次截断、畸形或未送达的响应用原消息和更大上限补回,不新增观察。
    • 告警差:品牌告警率是五对词、两轮上的告警比例。组差为 64 个品牌等权的“对照减声称”再乘 100,单位是百分点:ΔF=100×1/64∑b=164[ab(control)−ab(claim)]。正值表示声称更少告警,负值表示更多。
    • 配套计数:作者称该差不是相对降幅,也不是攻击成功率;用四舍五入后的比率相减可能差 0.1。组平均可能抵消相反变化,故另计两轮都成立的配对逃避品牌数,分母 64。这不是真实攻击成功概率。调用和重复不增加独立 N。官方域误报与基础名告警每设置用 64 个名字各两次判定。
  4. What experiments did the paper conduct?

    Classifier+Full+Raw 下 Llama 注册域名否认差 45.3 pp,无参考背书差 -65.6 pp。

    实验设置

    • 模型:Llama 3.3 70B Instruct-Turbo、Gemma 3 4B it、Gemma 3 12B it、Gemma 3 27B it、gpt-oss-20b。都是被测分类器,无单独攻击模型或裁判模型。
    • 数据:固定 64 个品牌,主要为科技与软件服务;各有官方域和预定义拼写错误。构造候选一律 .com。官方域为 .com 55、.io 6、.co 2、.app 1。品牌是比较单位,尽管有的共享公司所有者。
    • 设置:18 种提示,十个声称,两个位置,两轮。另有无参考的品牌到域名回忆,5×64×2=640。
    • 指标:组平均告警差(对照减声称,百分点);配对逃避(/64,两轮都成立);官方域误报率;基础名告警率;重复输入不一致率。
    • 判定:模型自返回的布尔 flag,温度 0。论文未报告统计检验,也未使用独立裁判。
    • 规模:622,080 次判定。补回 600 次失败响应。不一致率使用每模型 62,208 个完整重复对。

    主结果

    下表只列 Classifier role、Raw FQDN、注册域名位置的否认类平均差(pp)。据 Figure 2(a),与 Table V 五行平均一致。正值表示声称更少告警。五款模型都列出。

    模型FullNone
    Llama 3.3 70B Instruct-Turbo45.38.6
    Gemma 3 4B it32.757.8
    Gemma 3 12B it23.864.2
    Gemma 3 27B it0.032.7
    gpt-oss-20b2.2-1.4
    • 有参考仍可少告警:上表 Llama 的 Full 格中,作者报告控制告警率 90.2%、声称告警率 44.8%;五词平均差对 62 个品牌为正、对 2 个为零。摘要中的注册域名否认类降幅即此格。
    • 背书可多告警:同一任务、None、Raw、注册域名上,Llama 背书类差为 -65.6 pp,告警从 32.3% 升至 98.0%(Figure 3 与正文)。同图 Full、Raw、该位置的 Llama 背书差为 -1.1 pp。作者称负差是告警更多,不是逃避。
    • 并非组别固有:作者称差值的符号和大小都不是声称组单独的属性。Full 参考下 Gemma 27B 的否认差跨措辞、呈现和位置为 0–1.4 pp,背书差为 0;gpt-oss-20b 的 Full 否认差为 0.8–5.6 pp。

    词级分解与配对逃避

    • 测了什么:Table V 拆开 Classifier role、Raw、注册域名上的五条否认词,比较 Full 与 None,并给出两轮配对逃避数。表注写明较大的配对逃避计数有利于攻击者。
    • 结果:Llama、Full 下 not-impersonating 为 92.2 pp、59/64,not-phishing 为 16.4 pp、8/64。Gemma 27B 在 Full 下五词均为 0.0(0/64),None 下为 8.6–51.6 pp。Gemma 4B 的 not-phishing 在 Full 为 -6.2 pp(0/64)。gpt-oss-20b、None、not-malware 为 -4.7 pp,仍有 2/64 配对逃避。
    • 作者解读:组平均会掩盖词间相反变化;负的组差仍可能包含部分品牌的配对逃避。同一 Classifier、None、Raw、注册域名设置中,not-phishing 相对匹配对照为 -2.3 pp,相对中性标签为 73.4 pp。作者称只做中性比较会高估与否认安全风险相关的降幅。该设置否认类对照的告警率只有 15.9%。

    参考、措辞与名称呈现

    • 参考:Gemma 27B 在 Table V 的 Full 均值为 0.0、None 为 32.7;Full 下每个对照和声称都告警,None 下分别为 88.1% 和 55.5%,两种设置的官方域误报都为 0。作者称参考仍可能留下大的告警减少。品牌到域名回忆两轮答案全部一致,参考匹配 54–61/64,Gemma 4B 弃权 10 个;作者称这只说明能回忆,不能说明哪些关联影响分诊。
    • 措辞:Llama、仅品牌、Raw、注册域名、否认类,三种任务的差分别为 23.3、50.9、64.5 pp。作者称只给出模型和声称并不能确定行为。
    • 呈现:Classifier role、Full 下,Llama 从 Raw 改为标注组件后,子域否认差从 41.6 pp 降到 0.0 pp,声称和对照全部告警;注册域名差降到 19.8 pp 但仍在。Gemma 12B 的注册域名差升至 51.9 pp;官方域误报仍为 0,基础名告警从 98.4% 变为 96.9%。作者称字段加说明可以按模型和位置去掉、保留或加大差值。

    检测质量与可重复性

    • 测了什么:Table VI 是官方域误报率和未改基础名告警率,取 3 任务 × 3 参考的最小–最大百分比,不是置信区间。作者设定的场景偏好低误报和高基础名告警。

    Swipe horizontally to read the table

    模型官方域 Raw官方域标注基础名 Raw
    Llama 3.3 70B Instruct-Turbo0.00.0–3.914.8–100.0
    Gemma 3 4B it16.4–78.175.8–100.037.5–98.4
    Gemma 3 12B it0.00.0–3.134.4–100.0
    Gemma 3 27B it0.00.0–37.577.3–100.0
    gpt-oss-20b0.0–1.60.0–7.028.1–100.0
    • 特定设置:Classifier role、Full、Raw 下,Llama 标记全部基础名,不标记任何官方域。作者称差值本身不衡量检测准确度。
    • 例外与重复:gpt-oss-20b 在 Threat decision、无参考、Raw、子域上的否认差为 -28.4 pp,即否认声称增加告警。重复输入不一致率为 0.4%–6.1%。作者称温度 0 和输出补回不能保证威胁判定相同。

    其他消融与分析

    • Figure 3 中 Classifier、None、Raw、注册域名背书差:Gemma 4B -5.2、Gemma 12B -18.4、Gemma 27B -7.8、gpt-oss-20b -17.0 pp;同行子域 Llama 为 -44.2 pp。
    • Gemma 27B、None、Raw、注册域名否认差:Risk assessment 为 5.5 pp,Threat decision 为 47.0 pp(Figure 2(a))。
    • gpt-oss-20b、Classifier role、Full、Raw、子域否认差为 5.6 pp,落在作者给出的 Full 否认差 0.8–5.6 pp 内。
  5. What are some points that can be further explored?

    作者称不能外推到真实攻击或注册可行性,且未评测核验与所引防御。

    作者指出的局限与后续方向

    • 不能外推到现场:作者写明结果不能确立真实攻击是否成功,也不能确立注册可行性(Section V)。
    • 固定材料:品牌、词和一种命名模式是固定的,比较是描述性的;官方域是较窄的良性集;所供参考假定品牌匹配正确(Section V)。
    • 再测范围:作者写明更广的说法需要在新品牌、新命名模式和合法的不规则名称上测试(Section V)。
    • 未做的核验:作者写明没有评测独立核验,也没有评测所引防御(Section V)。参考和组件标注都不能核验授权。
    • 结论中的后续:作者认为结果促使做独立核验,并测试自述声称敏感度、误报,以及名称位置和提示之间的判定变异(Section VI)。

    实验覆盖范围

    • 模型与采集:五款 LLM,固定服务配置与精度,DeepInfra,2026 年 9 月,温度 0,两轮;计划槽位 622,080 次判定,并补回 600 次失败响应。
    • 品牌与名字:64 个品牌,主要为科技与软件服务;一种固定拼写错误和 developer-test 模式;构造候选 TLD 为 .com;官方域为 .com 55、.io 6、.co 2、.app 1。
    • 因素:三种任务措辞、三种参考、两种呈现,共 18 种设置;十个声称,子域与注册标签两个位置。
    • 质量与回忆:官方域误报、基础名告警、每模型 62,208 对的重复输入不一致,以及 640 次无参考的品牌到域名回忆。
    • 输入与未报告项:每次输入是名称文本和所给参考,不含网页、DNS、WHOIS、信誉、网站内容或所有权记录。论文未报告统计显著性检验或人工一致性。
  6. Summarize the main content of the paper

    作者称自述声称可增减告警;参考与标注会去掉、留下或加大差值。
    • 定位:作者把受检域名中的安全或批准短声称称为 ClaimMirage。这些声称没有改写任务的指令,也不构成授权证据。
    • 问题:安全应用每次把一个候选名交给 LLM,可选附上品牌和官方域,但不提供网页、DNS 或所有权证据。攻击者不能改官方域,只能在自注册域或委托子域的仿冒名里放声称;相对匹配对照减少告警才算逃避方向,告警变多不算成功。
    • 做法:64 个品牌使用固定拼写错误。十个声称放在子域或注册标签,并与等字符、等连字符的对照、中性标签和未改名比较。任务措辞、参考和呈现组成 18 种设置,五款 LLM 在温度 0 下各判两轮,共 622,080 次。
    • 少告警:Classifier role、Full 参考、Raw、注册域名上,Llama 3.3 70B 的否认类少告警 45.3 个百分点(控制 90.2%,声称 44.8%)。标注组件后该差留在 19.8 个百分点,子域差则从 41.6 个百分点变为 0。
    • 多告警与接近零:去掉参考后,同模型同位置的背书类多告警 65.6 个百分点(32.3% 到 98.0%)。Gemma 3 27B 在 Full 参考下否认差为 0–1.4 个百分点、背书差为 0。标注组件把 Gemma 3 12B 的注册域名否认差升到 51.9 个百分点。
    • 作者结论:比较中出现告警减少、增加和接近零的差值;参考和组件标注都不能核验授权。作者认为应用在用声称压低告警前应核对独立证据,并在实际模型和提示上检查匹配对照、误报和重复判定。结果不能当作真实攻击成功或注册可行性。
Read originalarxiv.org