评测与基准arXiv 2609.39473
FAME：用反事实推理评测自主智能体的虚假记忆
提出 FAME，用反事实概念漂移评测智能体虚假记忆
- arXiv
- 2609.39473
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3B
- 组件记忆
摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。
FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。
- 分析与理论arXiv 2609.36477
研究发现护栏模型在基座模型不确定处过度自信
诊断护栏相对基座在对抗提示上的置信失校
- arXiv
- 2609.36477
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等 10 个
摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。
诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。
- 防御arXiv 2609.32720
BiasReducer：面向奖励模型的自适应偏见缓解方法
B IAS R EDUCER 只改奖励头，按数据集选择属性编辑。
- arXiv
- 2609.32720
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Skywork-Reward-V2-Qwen3-1.7B、GRM-Llama3.2-3B-rewardmodel-ft、RM-Mistral-7B 等 7 个
摘要BIASREDUCER 按数据集选择奖励头编辑，五模型三基准平均提升并迁移到下游训练。
BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。
- 评测与基准arXiv 2606.24115
Gut-VLM 基准：九种幻觉检测方法在胃肠道内镜 VLM 上的评测
在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法
- arXiv
- 2606.24115
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- MedGemma-4B、MedGemma-27B、LLaVA-Med-7B 等 5 个
摘要九种检测方法在 Gut-VLM 五模型上的比较中，ReXTrust 的 AUC 均为最高。
这是一个胃肠道内镜 VQA 幻觉检测的比较基准，不是新检测器结构的提出。
已经到底了