揭开秘密代码：用金丝雀揭示掩码上下文如何控制 SFT 中的记忆

canary测到的非预期记忆化，主要取决于训练时秘密能否从上下文被确定或解码，而不只取决于重复次数。

• 场景：作者认为，模型即便只通过查询开放，用户仍可能抽出训练数据中的私人信息。直接测量困难，因为敏感记录种类多，所有者未必知道哪些最可能被恢复。
• 现有做法的缺口：Canary把含已知秘密的合成记录插入训练再尝试抽出。作者认为，由此推断其他训练记录是否易被抽出仍不确定；最突出的缺口是秘密在输入中如何表示。
• 核心观察：秘密若出现在训练输入里，模型可以在输出中复现它，却在去掉该秘密后回忆失败，即便训练中大量重复。若训练必须从周围上下文预测秘密，之后的回忆可以变得可靠。作者称仅靠重复不足以刻画记忆化。
• 本文做了什么：在语言与视觉语言模型的受控监督微调（SFT）中，比较可见、编码与隐藏秘密，并用反事实探针区分复制、线索跟随与回忆；同时考察剂量、出现时机和伴随canary。
• 测量设定：
  • 关心的是非预期记忆化，即秘密与周围上下文的关联，而不是从当前输入抄写或解码。
  • 审计者控制秘密取值、出现次数、训练位置，以及评估时输入是否仍提供该秘密。
  • 被测的是接受SFT的预训练模型；损失只加在监督目标上，输入不计入损失但仍影响预测。
  • 作者声明只对这一微调阶段作结论，不声称转移到其他训练范式。

作者主要对话的是记忆化抽取、canary审计设计和多模态信息保留，并用反事实探针把复制与回忆分开。

记忆化与训练动态

• Carlini等（2023）与Biderman等（2023）把逐字恢复同模型规模联系起来；Carlini等（2023）还讨论训练重复和推理前缀长度。Kandpal等（2022）与Lee等（2022）报告去重可降低这类记忆化。
• Panda等（2025）考察前缀分布和训练目标，包括只监督秘密。Szep等（2026）研究只出现在微调输入、不进入任务目标的个人识别信息；Borkar等（2025）分析某些个人识别信息如何影响其他个人识别信息的记忆化。
• Jagielski等（2023）在图像分类中研究遗忘和学习率衰减。Lesci等（2024）按训练位置和学习率日程估计记忆化剖面。Steinke等（2023）指出，增加canary数量不一定让成员推断的隐私估计更紧。

多模态中的信息保留

• Wen等（2025）研究事实关联在视觉与文本之间的迁移。Ju等（2025）探测与任务无关的视觉水印保留，包括提示输出里没有揭示的信息。
• Pinto等（2024）报告，基于文档的视觉问答模型在相关视觉内容移除后仍可复现训练答案。作者称本文用受控canary补充这一点，区分输入仍提供秘密时的恢复和必须回忆时的恢复。

度量与发布报告中的审计

• Carlini等（2019）用exposure概括秘密在指定候选集中的名次。Stock等（2022）在Rényi差分隐私下给出重构风险界，并在私有GPT-2微调里比较canary泄漏；他们测的是给定提示下秘密的条件概率。作者称exposure测的是候选空间内的相对名次，与该概率互补。
• 成员推断问样本是否参与训练（Shokri等，2017；Carlini等，2022）。作者还列举反事实记忆化（Zhang等，2023）、对抗压缩（Schwarzschild等，2024）和信息论区分（Morris等，2026），用来说明应分开报告名次与精确恢复。
• PaLM 2评估注入canary的恢复；Gemini 1.5与Gemma 2评估抽样训练段落的精确和近似恢复。Zanella-Béguelin等（2020）用canary看模型更新的泄漏，Meeus等（2025）审计合成文本的隐私风险。

基线与基准

• 效用对照是预训练检查点和无canary微调；记忆化对照是同一秘密的可见、编码与redacted输入，以及剂量、位置和群体的匹配比较。数据与基准包括合成邮件改写、Banking77、TAT-QA、OS-Atlas，效用集为Banking77锁定集、OSWorld-G与ScreenSpot-Pro。

作者把本文定位为可见、编码和隐藏秘密的受控比较，加上反事实探针，把复制和线索跟随与回忆分开，并在语言和视觉语言模型上重复位置与canary集合组成的比较。图1图注中作者称，这是着重考察context对非预期记忆化影响的first study。

在已有能力模型的SFT中插入合成canary，改变秘密在输入里的可预测性，再用名次和生成测试分开复制与回忆。 作者把这一轴称为预测性上下文（predictive context）：输入里的逐字秘密很可预测，遮住或缺失则不可预测。

问题设定

• 输入x含系统指令和用户消息，目标y是助手回复。SFT损失只加在目标token上；输入不计入损失，但仍影响预测和参数更新。
• 每条canary把非秘密上下文和一个指定code配在一起。训练时目标回复始终包含该code；输入可以原样给出、遮住，或给出变换后的cue。
• 作者只研究聊天模板下的SFT，并声明不把结论推广到其他训练范式。

四条协议轴

• 预测性上下文：可见code、redacted，或可逆但形式不同的编码。评估时可遮住、按训练时给出，或换成另一个code，周围上下文保持固定，以区分回忆、抄写和线索跟随。
• 剂量：同一canary在训练集中的出现次数。无canary的dose 0在背景语料上微调。加canary时替换背景样本，训练预算固定，因此提高剂量也改变训练混合。
• 位置与间隔：相同剂量可以早、晚、均匀或集中出现。邮件实验用恒定学习率，以免位置效应和学习率变化混在一起。
• canary群体：焦点canary的上下文和指定code固定，改变辅助canary的有无、剂量和出现早晚。作者据此看单条样本的读数能否脱离同伴来解释。

成功如何判定

• 若真实秘密在候选集Y中的名次为r，exposure定义为 exposure(r)=log₂|Y|−log₂ r。名次越靠前越高，rank 1时达到上限log2|Y|。它是名次，不是某种解码下生成该秘密的概率。
• 文本实验穷尽全部10,000个四位数字，上限约为13.29。视觉语言模型用参考code加19,999个decoy，共20,000个候选，上限约为14.29；这只表示在该抽样库中排第一，不是全部code空间。
• greedy解码另计精确恢复：生成回复是否包含训练时指定的code。作者强调排第一不等于greedy会写出该code。邮件恢复最多续写12个token；视觉语言模型生成上限为24个新token。

任务与canary结构

• 合成邮件：用户给粗糙草稿，助手给改写。背景为16,544对，各重复4次后全局打乱，共66,176行、1,034步，一批64行，只过一遍。通常64条焦点canary替换背景行。学习率按无canary的留出损失选取，比较本身用恒定学习率。
• Banking77：查询配意图标签。canary另加合成客户名和四位请求参考，监督回复含意图、姓名和逗号分隔的code；准确率只看意图。每轮10,003个样本、313步，64条canary。正文剂量比较用恒定学习率2.5×10^−6。
• TAT-QA：表格加文本的金融问答，回复含答案和scale。canary另加四位请求参考，不计入严格准确率。13,209条各用两次，共26,418行、826步，32条canary。四个Qwen3用各自的恒定学习率。
• GUI grounding：截图加界面元素描述，模型定位该元素。canary改成辅助打字任务，指定带三字母前缀和八段字母数字载荷的参考code。指令指向来源区域但不写出code。每轮10,000条OS-Atlas样本、一批32、313步；视觉编码器冻结，训练语言模型和多模态连接器。

编码与组合变换

• 邮件的binary cue把四位整数写成补零的14位串。chained-fruit先对相邻数字做模10累加，再映射成词；评估提示不提供该规则。目标仍是逗号分隔的十进制code。
• 视觉侧把八个载荷字符显示成八位ASCII，或用同一词典做逐字替换和依赖前一字符的链式替换。讨论部分还在Qwen2.5-VL-7B、每条canary出现4次时，组合块反转（宽度1、2、4、8）和循环移位（0、+1、+4），目标code和监督动作固定，评估时遮住源码。
• 附录给出邮件、Banking77、TAT-QA和GUI样本的完整提示与目标格式。效用上，无canary微调用于看任务是否变好，含canary的运行再与之比较。

实验设置

• 被测模型：Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-14B，GPT-OSS-20B；视觉语言模型为Qwen3-VL-4B-Instruct、Qwen2.5-VL-7B、Qwen2.5-VL-32B、InternVL3-8B。合成数据由GPT-5.6 Sol生成。
• 数据规模：邮件66,176行、通常64条焦点canary；TAT-QA 26,418行、32条canary；Banking77每轮10,003行、64条canary，锁定留出集3,080条；GUI每轮10,000条。效用集为OSWorld-G的510条grounding样本和ScreenSpot-Pro的1,581条。
• 对照：预训练检查点与无canary微调看效用；记忆化对照为可见、编码、redacted，以及单剂量对混合剂量、早对晚放置。提高剂量会替换更多背景样本。
• 指标：exposure是候选集名次，文本上限约13.29，视觉抽样库上限约14.29。greedy精确恢复另计。效用分别为意图准确率、答案加scale的严格准确率、预测点是否落在标注区域内。
• 判定：没有独立评审模型。主记忆化测试在评估输入中隐藏code；另做原码仍可见和替换码探针。视觉全空间是8个前缀乘32字符表的8位载荷，exposure上限不覆盖该全空间。
• 重复：邮件和多数视觉比较为3个训练种子。Banking77有固定优化器种子、变动canary的三次重复，附录另有数据与种子联合变动的三次。论文未写假设检验。

主结果

下表是评估时隐藏code的中位exposure。可见码列与redacted列的剂量不同，因为论文在各自饱和或最高测试剂量上报告。

表格较宽，可左右滑动

模型与条件	可见码	redacted	出处
Qwen3-1.7B，邮件，dose 16	1.00	10.70	Fig. 5
GPT-OSS-20B，Banking77	64次后1.18；Fig. 9a称低于1.2	16次达到13.29	Fig. 9a、附录B
Qwen3-14B，TAT-QA	512次后0.87	32次达到13.29	Fig. 25
Qwen2.5-VL-7B，GUI	128次后1.39	4次达到14.29	Fig. 9b
InternVL3-8B，GUI	未报告逐模型中位数	4次达到14.29	Appendix C
Qwen3-VL-4B-Instruct，GUI	未报告逐模型中位数	8次达到14.29	Appendix C
Qwen2.5-VL-32B，GUI	未报告逐模型中位数	16次达到14.29	Appendix C

• 作者认为，输入能否确定秘密是主导因素：可见码模型会复制当前输入，包括换成新码之后；遮住来源后exposure停在基线附近。redacted训练在低得多的剂量达到名次上限。GPT-OSS-20B在Banking77、Qwen2.5-VL-7B在GUI的最高剂量上，替换码复制率分别为100%和91.2%。
• 编码通常落在两端之间，但不是单调剂量曲线。作者报告Qwen3-14B在dose 16、32、64上binary训练的exposure低于Qwen3-1.7B和Qwen3-4B，且低于chained-fruit，与较小模型相反（Appendix A）。表中省略了未给出逐模型中位数的Qwen3-0.6B、Qwen3-4B邮件结果，以及TAT-QA上除Qwen3-14B外的三个Qwen3。
• 名次和精确恢复可以分开。邮件single dose 64、评估隐藏时，四个Qwen3的每个redacted checkpoint都恢复全部64个秘密，可见十进制、binary和chained-fruit均为0（Appendix A）。作者称可见设置下的低exposure不是一般隐私保证。

位置、间隔与学习率

• 测了什么：剂量固定时改变出现窗口。Qwen3-1.7B邮件dose 8，同一64条canary各出现8次，从训练约前20%移到约后20%。GPT-OSS-20B在Banking77上于dose 8比较前、中、后五分之一，并比较恒定学习率与余弦衰减。
• 结果：邮件中位exposure从3.26升到6.80（Fig. 4）。Banking77恒定学习率下，早、中、晚中位为3.68、8.74、13.29；余弦衰减下为8.76、8.16、1.32（Fig. 8a）。Qwen2.5-VL-7B在余弦衰减下，末次出现从约50%移到约95%时中位exposure下降；恒定日程方向相反。作者称两个方向在全部四个视觉模型和每个种子上都成立（Appendix C）。
• 作者的解读：其他条件相同时更晚出现更强，但学习率大小也是因素。附录写明，Banking77两种日程没有同时匹配峰值与累积学习率，因此没有分离日程形状本身。视觉侧125次更新间隔在三个末次窗口的合并中位都高于16次间隔；作者认为较宽间隔把第一次出现放在更高学习率，这可能有助于解释差异。

canary群体

• 测了什么：焦点canary的剂量和位置固定，加入更高剂量或其他时机的同伴。邮件比较单剂量与混合剂量；视觉侧在Qwen2.5-VL-7B上给dose 1、2、4的焦点canary配或不配dose 8和16的附加canary。
• 结果：作者称邮件dose 2和4在混合剂量中exposure高于单剂量（Fig. 3）；图注未印中位数，且总出现次数也不同。Qwen2.5-VL-7B焦点中位从一次出现的4.11升到6.99，两次出现从9.97升到上限14.29（Fig. 7）。GPT-OSS-20B的dose 4在Figure 24中从3.95升到13.29；正文另写三个joint seeds下单剂量为3.36（指向Figs 36–37，图注未印该数）。Qwen2.5-VL-32B在一次出现时，加入高剂量同伴后中位从2.43降到2.03（Appendix C）。
• 作者的解读：群体变化会改变固定样本的读数，因此难对单条样本作结论，也难外推到互动难以建模的真实数据。混合剂量同时改变同伴剂量和canary总出现数，作者称这没有分离出canary之间的互动，也不是独立的剂量曲线。

复制、线索跟随与精确恢复

• 未见编码：微调前，Qwen3-1.7B和Qwen3-4B在直接给出十进制时恢复全部256个新code，两种编码下为0。dose 64后，两模型都能从训练cue恢复全部64个训练code，但256个未见binary均为0，未见chained-fruit只分别恢复4个和5个。同一256个值若直接给十进制，binary训练模型分别恢复224/256和253/256。dose 512的binary诊断里，cue被遮住时两模型都不恢复64个训练code，给出binary cue时则全部恢复；这是单种子，且dose 512时焦点canary占66,176行中的32,768行。
• 视觉侧名次先于生成：redacted训练、源区域遮住时，dose 1和2的精确恢复在四个模型都是0/216，尽管已有参考码排第一。dose 16时精确恢复为33.8%–99.1%；Qwen2.5-VL-32B有199/216排第一，但只有73/216写出完整code。dose 128时四个模型都是216/216。可见码训练在每个正剂量上的遮住精确恢复都是0。
• 组合变换：Fig. 10中，Qwen2.5-VL-7B、dose 4，只反转时中位exposure约在1.2到1.9；只移位时从1.32到+4移位的3.05；宽度8加+4移位达到8.76，redacted端点为14.29。Table VIII的另一组种子上，四个模型的选定组合都介于匹配的复制端和redacted端之间，但遮住源码后的精确恢复都是0/216。

其他消融与分析

• 无canary微调后，Banking77意图准确率从56.1%到93.1%（Table III，恒定学习率）；正文称129个保留检查点为91.30%–93.86%。TAT-QA上Qwen3-14B从21.8%到70.4%（Table III）。
• Table VI：无canary、余弦衰减后，OSWorld-G / ScreenSpot-Pro分别为Qwen3-VL-4B 68.82%到72.03%、44.78%到53.13%；Qwen2.5-VL-7B 37.45%到48.56%、11.95%到30.44%；InternVL3-8B 18.04%到44.64%、3.54%到19.04%；Qwen2.5-VL-32B 60.59%到69.54%、46.55%到50.66%。微调结果是三个种子的均值。
• redacted的GUI剂量从1到128，相对无canary微调，平均grounding准确率下降最多为OSWorld-G 2.61个百分点和ScreenSpot-Pro 1.95个百分点；128次时canary行占46.08%，作者称重复与训练混合混在一起。
• Qwen3-4B邮件：把固定的dose 8辅助群体从焦点之后移到之前，86%的焦点canary exposure上升，配对中位增加4.77（Fig. 18，三个种子、192对）。单种子的一次出现辅助样本没有带来同样上升：中位1.16，对照无辅助为1.91，重复辅助在前为7.21。
• TAT-QA、Qwen3-14B、dose 16：晚放置相对早放置，96条里87条exposure上升，配对中位增加3.12（Fig. 23）。dose 4单剂量中位1.07，混合剂量13.29；混合运行有2,720条canary样本，单剂量为128条。
• ASCII binary的dose扫描里，Qwen2.5-VL-32B在128次的中位exposure为2.71，而redacted训练到16次已达14.29（Table VII、Appendix C）。作者猜想能力更强的模型可能更多依赖编码cue、更少依赖其余上下文。

作者指出的局限与后续方向

• 证据涉及选定微调任务、模型族和训练配方中的合成秘密，不能直接标定自然隐私记录的抽取风险（Section VI-C）。
• 文本与视觉实验的任务、code格式和候选空间不同，绝对exposure不能直接比较（Section VI-C）。
• 作者称不对绝对风险或记忆化率作可推广断言，不能由某种变换推出特定记忆化概率；受控code结构未必迁移到非结构化敏感数据。字母数字code或可充当社保号或地址一类字段的替身，但人物抽象事实未必以同样方式被记住（Section VI-C）。
• 恢复测试只覆盖实验所用查询和解码。未恢复不能排除其他查询、解码或对抗性提示抽出更多（Section VI-C）。
• 现有变换比较没有分离出单一的解码难度。作者提出可检验其他变换族及其组合、扩展到自然记录，并同时改变基座检查点、变换性质和源可见性（Section VI-A）。
• 开放问题包括：何种canary最能代表审计要评估的自然记录；优化、多训练阶段和背景替换中哪些因素驱动时机与群体效应；预训练后的强化学习如何与时机和近因结果衔接。作者称这些需要独立对照和大规模实验（Section VI-B）。

实验覆盖范围

• 被测模型为Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-14B、GPT-OSS-20B，以及Qwen3-VL-4B-Instruct、Qwen2.5-VL-7B、Qwen2.5-VL-32B、InternVL3-8B。
• 任务为合成邮件改写、TAT-QA、Banking77，以及OS-Atlas上的GUI grounding；效用集包括Banking77的3,080条、OSWorld-G的510条和ScreenSpot-Pro的1,581条。
• 记忆化指标为exposure和greedy精确恢复，并辅以原码可见与替换码探针。文本候选为全部10,000个四位数；视觉候选为20,000个抽样，不是全部code空间。
• 训练是预训练检查点上的SFT，预算固定，canary替换背景样本。视觉实验冻结vision encoder，训练语言模型和多模态连接器。多数比较使用3个训练种子。
• 论文未报告假设检验，也未报告用独立模型或人工标注判定恢复。作者在Section III声明只对SFT阶段作结论。

Schwarzschild等人分析SFT canary审计的读数是否随设计选择改变。 问题是合成秘密的呈现方式会不会改写测到的非预期记忆化，从而使一种协议下的低抽取风险不能代表另一种协议。

• 做法：损失只加在助手回复；秘密可以在用户输入或截图里可见、编码或隐藏，目标里始终包含它。评估用候选集名次exposure和greedy是否写出指定code，再把输入中的秘密遮住或替换，以区分复制、线索跟随和回忆。
• 上下文：Qwen3-1.7B邮件、dose 16、评估隐藏时，可见十进制、binary、redacted的中位exposure为1.00、7.63、10.70（Fig. 5）。GPT-OSS-20B在Banking77上，可见码64次后作者称低于1.2，redacted在16次达到13.29（Fig. 9a）。Qwen2.5-VL-7B可见码128次后为1.39，redacted在4次达到14.29（Fig. 9b）。最高剂量下替换码复制率为Banking77的100%和GUI的91.2%。
• 其他杠杆：Qwen3-1.7B dose 8从训练约前20%移到后20%，中位exposure从3.26到6.80（Fig. 4）。GPT-OSS-20B恒定学习率下晚期更高，余弦衰减下晚期中位为1.32（Fig. 8a）。Qwen2.5-VL-7B的焦点canary在两次出现时，加入高剂量同伴后中位从9.97到上限14.29（Fig. 7）。
• 精确恢复并不等同名次：邮件single dose 64时，四个Qwen3的redacted checkpoint都恢复全部64个秘密，可见和两种编码均为0。视觉redacted训练里，Qwen2.5-VL-32B在16次出现时199/216排第一，只有73/216写出完整code。
• 作者的结论：剂量单独不足以刻画非预期记忆化。一种协议下风险低，不是另一种协议下风险低的充分证据；可见设置的低exposure也不应被当成一般隐私保证。作者建议同时测可见、隐藏和替换，写明优化设置、学习率日程、放置和间隔，并分开报告exposure与精确恢复。