OLMo-Detect:面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
- arXiv
- 2610.02986
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- OLMo 2 1B、OLMo 2 7B、OLMo 2 13B 等 9 个
- 攻击提取与窃取
提出基准 OLMo-Detect 评测 LLM 成员推断
提出 imMRAG 攻击,从多模态 RAG 私有图像库提取内容
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
摘要论文提出扰动蒸馏与离线过滤两阶段框架,实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
本文研究 one-round 成员推断:只有一个目标模型、不能再训练参考模型时,如何仍做逐样本校准,并用于单次运行的 DP 审计。
提出 Leaky,用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
提出 SCALPEL,用对比 SAE 在表征层选择性遗忘特定事实
SCALPEL 是不改基座权重的表征层遗忘方法,面向与保留数据重叠的窄目标。
提出 VidMark 水印方案,核验视频生成模型的输出来源与所有权
Huang 等人提出一套面向视频生成模型的生成内嵌水印方案,用来同时判断一条视频是否来自受保护模型,以及一个嫌疑模型是否为该模型的拷贝。
提出 ARIA,在冻结权重上用 SAE 做推理时遗忘门控
提出 RAPID,离线把抗蒸馏扰动写入文生图解码器
提出 CIG-MIA,用上下文信息增益推断 RAG 知识库成员身份
CIG-MIA 是针对 RAG 外部知识库的成员推断攻击,同时覆盖灰盒和纯文本黑盒。
检验权重谱度量能否代理成员推断泄漏
作者在 MLP 上检查 WeightWatcher 谱统计是否与 online LiRA 同向,以便不看数据、不训练 shadow 模型就做模型级成员风险筛查。放出前的审计要知道训练成员会不会被认出来。LiRA 依赖大量 shadow 模型,候选一多就难以逐个跑。
提出 CGMIA,检测代码生成基准样本是否泄漏进训练集
CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集,使评测不依赖对训练语料的直接访问。
系统比较解释获取路径下的抽取、成员推断与反演
提出严格黑盒成员推断 WPMIA,用采样估计词级概率判断训练成员
WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断:攻击者只能看到文本续写。
证明量子原生访问会增强量子模型的成员推断优势
作者研究 量子原生访问下 QNN 的成员推断:对手不再只拿到固定测量的经典比特。
提出针对微调 TTS 的黑盒成员推断攻击
作者给出一个针对微调文本转语音模型的黑盒成员推断框架,分别审计说话人是否进入微调集,以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成,既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询,认为只有 recitation(用目标转写和干净目标语音要求模型复现)同时满足两条,并把它作为主查询。
提出 Q-SKEW,利用 token 级记忆不对称推断微调扩散语言模型的成员
Q-SKEW 是针对微调扩散语言模型的 gray-box 成员推断指标,依据是 token 记忆增益随掩码率下降而增大、成员序列因此右偏。。
提出 aiXamine 黑盒基准,统一评测 LLM 安全、稳健与隐私权衡
aiXamine 是一套黑盒评测协议,用来在同一条件下比较 LLM 的 safety、security 与 privacy,而不是再产出一个能力分。
提出 LeakGauge,用行为后缀的 prefill 对数概率检测上下文泄露
提出 SkillClone,仅凭良性任务交互重构闭源 Agent 技能
论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。