评测与基准arXiv 2605.21545
RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平
提出 RefusalBench，评测生物研究提示上的拒答率与安全校准
- arXiv
- 2605.21545
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个
- 风险拒答失当
全部论文
另有 482 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 评测与基准arXiv 2610.02986
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
- arXiv
- 2610.02986
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo 2 1B、OLMo 2 7B、OLMo 2 13B 等 9 个
- 攻击提取与窃取
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
- 评测与基准arXiv 2609.35312
MemoReason 基准
提出 MemoReason 基准，测量参数记忆对上下文推理的影响
- arXiv
- 2609.35312
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个
摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。
MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。
- 评测与基准arXiv 2609.38106
剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异
测量剪枝对语音 LLM 群体转写公平性的影响
- arXiv
- 2609.38106
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Whisper Small (12 layers)、Whisper Medium (24 layers)、Whisper Large-v2 (32 layers) 等 4 个
摘要剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。
- 评测与基准arXiv 2610.01428
SAGO：从稳定性而非准确率出发的多维度大模型泛化评测
提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化
- arXiv
- 2610.01428
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个
摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。
SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。
- 防御arXiv 2609.27399
GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别
提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别
- arXiv
- 2609.27399
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- CosyVoice2-0.5B、F5-TTS、FireRedTTS
摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。
GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。
- 防御arXiv 2609.31056
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实
- arXiv
- 2609.31056
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。
SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。
- 攻击arXiv 2609.06749
PMA 攻击：针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法
提出 PMA，用流形对齐从 E2EO 混淆向量恢复明文
- arXiv
- 2609.06749
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- BERT-base、RoBERTa-base、T5-base 等 6 个
- 攻击arXiv 2609.10117
研究揭示基于混淆的端侧 LLM 保护方案的安全边界
提出 Collapse，从端侧混淆暴露视图抽取高效用替代模型
- arXiv
- 2609.10117
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- BERT-Base、ViT-Base、Qwen2.5-0.5B 等 4 个
摘要Oprior 是四原语复合的安全边界，Collapse 利用列方向泄漏抽取替代模型，Oext 只被同一攻击评测。
这篇工作用代数原语统一若干 TEE 卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。。
- 评测与基准arXiv 2609.03511
多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析
构建 IndicReStruct，评测保语义结构扰动下的多语言数学推理
- arXiv
- 2609.03511
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-it、Gemma-2-27B-it、GPT-OSS-20B 等 7 个
摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率，轻量微调未能补上。
IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。
- 防御arXiv 2609.16229
ARIA：用稀疏自编码器实现测试时机器遗忘
提出 ARIA，在冻结权重上用 SAE 做推理时遗忘门控
- arXiv
- 2609.16229
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- DeepSeek-R1-Distill-Qwen-1.5B、Gemma-3-1B-it
- 攻击arXiv 2609.00873
研究提出 Q-Skew：利用 token 级记忆不对称对微调扩散语言模型做成员推断
提出 Q-SKEW，利用 token 级记忆不对称推断微调扩散语言模型的成员
- arXiv
- 2609.00873
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 测试
- LLaDA-8B-Base、LLaDA-8B-Instruct、Dream-Base-7B 等 4 个
- 攻击提取与窃取
摘要Q-SKEW 用 token 损失差的右偏区分微调 DLM 成员，并可辅助 PII 排序。
Q-SKEW 是针对微调扩散语言模型的 gray-box 成员推断指标，依据是 token 记忆增益随掩码率下降而增大、成员序列因此右偏。。
- 攻击arXiv 2609.01723
研究者提出针对微调 TTS 模型的黑盒成员推断攻击
提出针对微调 TTS 的黑盒成员推断攻击
- arXiv
- 2609.01723
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- CosyVoice2、F5-TTS、XTTS-v2
摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。
作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。
- 防御arXiv 2609.15799
RAPID：面向文生图服务的实时防未授权蒸馏防御
提出 RAPID，离线把抗蒸馏扰动写入文生图解码器
- arXiv
- 2609.15799
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- PixArt、SSD、SDXL 等 4 个
- 攻击arXiv 2609.05702
量子原生访问下量子机器学习（QML）的隐私风险刻画
证明量子原生访问会增强量子模型的成员推断优势
- arXiv
- 2609.05702
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- 4-qubit 24-parameter QNN（PennyLane 模拟，目标与影子模型同结构）
- 攻击提取与窃取
摘要量子原生访问使 QNN 成员推断优势按 C⪯M⪯Q 增加，有限影子模型留下可上界的经验差距。
作者研究 量子原生访问下 QNN 的成员推断：对手不再只拿到固定测量的经典比特。
- 攻击arXiv 2609.10611
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
- arXiv
- 2609.10611
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- OPT-6.7B、Pythia-6.9B、LLaMA-13B 等 12 个
- 攻击提取与窃取
摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。
WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。
- 其他arXiv 2609.10627
SoK 综述：可解释性 AI 如何成为机器学习隐私攻击面
系统比较解释获取路径下的抽取、成员推断与反演
- arXiv
- 2609.10627
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Linear、two-layer ReLU、convolutional network 等 15 个
- 攻击提取与窃取
- 攻击arXiv 2609.09865
CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
提出 CGMIA，用成员推理检测代码生成基准的数据泄漏
- arXiv
- 2609.09865
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 攻击者
- 灰盒
- 测试
- Qwen2.5-Coder (3B)、CodeGemma (2B)、DeepSeek-Coder (1.3B) 等 5 个
- 攻击提取与窃取
摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。
CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。