研究评测训练数据提取风险的跨语言迁移
用翻译前缀做跨语言训练数据提取,恢复英语训练文本中的 PII
- arXiv
- 2610.06093
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等 7 个
- 攻击提取与窃取
摘要跨语言 TDE 能恢复英语记忆的 PII,转移随多语训练和措辞保真变化。
这篇工作检验训练数据抽取是否跨语言:英语段落里记住的 PII,能否被其他语言的前缀逐字抽出。
用翻译前缀做跨语言训练数据提取,恢复英语训练文本中的 PII
这篇工作检验训练数据抽取是否跨语言:英语段落里记住的 PII,能否被其他语言的前缀逐字抽出。
提出 Persona Guardrail,强制客服智能体守住功能边界
Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。
提出基准 OLMo-Detect 评测 LLM 成员推断
提出 COVER,在语言预算下选择源语言实现跨语言知识遗忘
语言预算下的多语言遗忘:遗忘监督只放在 K 种源语言上,目标是降低其余语言对同一事实的残余访问,而不是把每种评测语言都译成监督数据。
提出 Whiteout,用伪装样本微调覆盖个人敏感信息关联
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
摘要论文提出扰动蒸馏与离线过滤两阶段框架,实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
本文研究 one-round 成员推断:只有一个目标模型、不能再训练参考模型时,如何仍做逐样本校准,并用于单次运行的 DP 审计。
提出用 API 推理摘要重建轨迹再蒸馏加强化学习,攻破蒸馏防御
这篇工作修订蒸馏攻击的威胁模型:攻击者经合法 API 收集闭源推理数据,先蒸馏自有模型,再做强化学习。作者认为只在蒸馏后评估防御,会漏掉后续 RL,从而高估防御。
提出 TULIP,按输入定位形成层并去除目标 token 对齐以实现定向遗忘
TULIP 是一种逐输入选择层的表示级遗忘方法,目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
提出主题锚点投毒,放大众包微调后的专有指令提取
摘要论文提出基于主题锚点的数据中毒攻击,证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
分析近重复族如何让精确记录成员推断误判为入训
作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训,而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。四世界审计用 E 表示精确记录是否入训、用 F 表示其近重复族是否在场,从而分开 H00 到 H10 的标准 MI、H00 到 H01 的族偏移,以及 H01 到 H11 的 exact-given-family。
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
作者在视觉分类和数学推理语言模型上,检查用更少数据或更简对齐换取训练效率时,安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集,并用预训练微调对照从头训练。
提出 IDUnlearn-Bench,评测 VLM 个体级遗忘后的身份残留
IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人,而不只是答不出某条监督事实。
提出 Leaky,用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
提出 SCALPEL,用对比 SAE 在表征层选择性遗忘特定事实
SCALPEL 是不改基座权重的表征层遗忘方法,面向与保留数据重叠的窄目标。
提出 PrivDrift 基准,审计话题漂移后的用户秘密复述
提出 AUDIT PLAN 先计划后作答,并用 FAITHGATE 绑定答案奖励与计划正确性
AUDIT PLAN 把安全对齐从“只优化最终答案”改成“先提交隐藏的结构化安全计划,再按该计划作答”,并用 FAITHGATE 把高答案奖励限定在计划正确时。
提出 ARIA,在冻结权重上用 SAE 做推理时遗忘门控
提出 RAPID,离线把抗蒸馏扰动写入文生图解码器
攻破混合 FHE 推理的置换式保密,精确恢复线性层排序谱