评测与基准arXiv 2610.06522
SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别
构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从
- arXiv
- 2610.06522
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- opus-5、sonnet-5、sonnet-4.6 等 11 个
- 风险失准与价值偏离
摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。
本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。
全部论文
另有 669 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.00568
研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容
提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入
- arXiv
- 2610.00568
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个
摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。
本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。
- 评测与基准arXiv 2608.11816
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
- arXiv
- 2608.11816
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等 9 个
摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。
- 评测与基准arXiv 2609.08943
研究提出 Fact-Ablated Evaluation，揭示 LLM 事实核查更依赖参数知识
提出 FAE 衡量事实核查对证据的依赖，并用 REAL 训练这种依赖
- arXiv
- 2609.08943
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o-mini、Gemini-2.5-flash-lite、Qwen-2.5-32B-Instruct 等 7 个
- 防御模型加固
摘要FAE 用多轮证据消融测接地，REAL 用对比监督让判决随证据可用性改变。
FAE 与 REAL 分别用来测量并训练 LLM 事实核查器对所给证据的依赖，而不只看一次性的标签准确率。
- 评测与基准arXiv 2609.32763
Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像
构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像
- arXiv
- 2609.32763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemini-3.8-Flash、GPT-5.6、GLM-5.3-Flash 等 15 个
摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。
- 评测与基准arXiv 2610.01497
OpenMTB-Audit：LLM 分子肿瘤委员会安全评测暴露过度拒答
构建分子肿瘤委员会审计基准，测量临床过度拒答
- arXiv
- 2610.01497
- 发表
- 层
- 模型层
- 测试
- GPT-4o (gpt-4o-2024-08-06)、GPT-4o-mini (gpt-4o-mini-2024-07-18)
- 评测与基准arXiv 2610.00531
SciSlopBench：评测并缓解 AI 生成论文中的科学灌水
构建 SciSlopBench 评测科学灌水，并用 SciSlopHarness 约束修订
- arXiv
- 2610.00531
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Binoculars (Falcon-7B)、DetectGPT (t5-3b)、NTS 等 8 个
- 风险幻觉与编造
- 评测与基准arXiv 2609.40286
研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘
提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘
- arXiv
- 2609.40286
- 发表
- 场景
- 模型与 API
- 测试
- Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。
语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。
- 评测与基准arXiv 2609.39863
FIGS：在不惩罚共情的前提下评测多轮谄媚
提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情
- arXiv
- 2609.39863
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DeepSeek V4.1 Flash、Gemini 3.8 Flash、GLM 5.3 等 8 个
- 风险失准与价值偏离
摘要FIGS 把守事实和恰当共情分开计分，事实向提示会换来更冷的失败。
FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。
- 评测与基准arXiv 2606.18936
SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准
提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全
- arXiv
- 2606.18936
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- kimi-k2.6、glm-5.1、gemini-3-flash-preview 等 14 个
- 风险幻觉与编造
摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。
SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。
- 评测与基准arXiv 2609.03148
LLM 如何处理上下文知识冲突：ContextConflict 数据集与机制可解释性分析
构建 CONTEXT CONFLICT 解释模型如何表征并化解语境知识冲突
- arXiv
- 2609.03148
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gpt-5、claude-4.5-sonnet、gemini-2.5-pro 等 7 个
摘要CONTEXT CONFLICT 显示模型能内部察觉冲突，却偏向靠前证据。
CONTEXT CONFLICT 把问题从“参数知识对外部语境”转到“语境内部多来源证据互相冲突”，并同时给出数据、机制分析和一种无训练转向。
- 评测与基准arXiv 2609.39473
FAME：用反事实推理评测自主智能体的虚假记忆
提出 FAME，用反事实概念漂移评测智能体虚假记忆
- arXiv
- 2609.39473
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3B
- 组件记忆
摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。
FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。
- 评测与基准arXiv 2609.35408
研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准
提出 RevLeakBench 测量交付物修订痕迹造成的无意泄露
- arXiv
- 2609.35408
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- GPT-5.6、GPT-5.5、DeepSeek-V4-Pro 等 6 个
摘要修订痕迹让撤回项重新进入交付物。
修订痕迹指模型按要求删掉或换掉一项后，又在交代这次修改时把它写进给第三方的交付物。
- 评测与基准arXiv 2609.10952
监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比
比较标签翻转与后门投毒对图像分类器的影响
- arXiv
- 2609.10952
- 发表
- 场景
- 模型与 API
- 测试
- Logistic Regression、Linear SVM、Random Forest
- 攻击投毒与后门
摘要标签翻转更能拉低线性模型。
Khan 与 Abusaqer 在两个图像分类基准上比较了两种训练时投毒。
- 评测与基准arXiv 2609.35342
Sys1Cal-v1：Jev 的二元 Choice 输出存在系统性概率失真
提出 Sys1Cal-v1 评测结构化选项概率是否具有正确数值含义
- arXiv
- 2609.35342
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Jev、SemIf
- 评测与基准arXiv 2609.33481
IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准
提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留
- arXiv
- 2609.33481
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 6 个
摘要IDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。
IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。
摘要梯度上升类方法更接近简单评测下的重训参照，复杂方法会被知情攻击认出，多说话人更差。
已经到底了