评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等8个
- 评测与基准arXiv 2610.04737
PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督
提出 PyINE 基准，训练捷径跟随模型并比较监督者
- arXiv
- 2610.04737
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- shortcut-following model organism、gpt-4o、gpt-5 等12个
- 组件监控器
摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。
PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。
- 评测与基准arXiv 2610.02999
OmniConfess：用 Token 级「忏悔」缓解全模态幻觉
提出 OmniConfess，冻结候选并按通道重打分以缓解全模态幻觉
- arXiv
- 2610.02999
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B、Nemotron-3-Nano-Omni-30B
- 评测与基准arXiv 2610.02741
研究系统评估循环语言模型的思维链可监控性
系统评估循环语言模型加深 loop 后的 CoT 可监控性
- arXiv
- 2610.02741
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等4个
摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。
这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- arXiv
- 2609.39533
- 发表
- 层
- 模型层
- 被测模型
- Qwen3-4B、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 评测与基准arXiv 2609.32763
Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像
构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像
- arXiv
- 2609.32763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemini-3.8-Flash、GPT-5.6、GLM-5.3-Flash 等15个
摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。
- 评测与基准arXiv 2609.04720
知道什么不该回答：视觉语言模型的选择性不遵从
提出 KoNA 基准，评测视觉语言模型的选择性不遵从
- arXiv
- 2609.04720
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- InternVL3-2B-Instruct、InternVL3-78B-Instruct、Qwen2.5-VL-3B-Instruct 等8个
摘要KoNA 用五类成对查询评选择性不遵从。
KoNA 用来评测视觉语言模型能否对混合查询做选择性不遵从：只处理不该遵从的成分，同时回答其余成分。
- 评测与基准arXiv 2609.22206
多模态大语言模型免训练不确定性估计的系统研究
比较多模态大模型上三类免训练不确定性估计
- arXiv
- 2609.22206
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- InternVL2-2B、InternVL2-8B、InternVL3.5-2B 等8个
摘要回答长度决定免训练 UE 族。
这是一项对 MLLM 免训练不确定性估计的分组比较：幻觉检测被作者视为弃答、转交或路由的一种用途，而不是唯一目标。
- 评测与基准arXiv 2608.11816
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
- arXiv
- 2608.11816
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等9个
摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。
- 评测与基准arXiv 2606.24115
Gut-VLM 基准：九种幻觉检测方法在胃肠道内镜 VLM 上的评测
在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法
- arXiv
- 2606.24115
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- MedGemma-4B、MedGemma-27B、LLaVA-Med-7B 等5个
摘要九种检测方法在 Gut-VLM 五模型上的比较中，ReXTrust 的 AUC 均为最高。
这是一个胃肠道内镜 VQA 幻觉检测的比较基准，不是新检测器结构的提出。
- 评测与基准arXiv 2604.12447
HazardArena：面向 VLA 模型的语义安全评测基准
提出 HazardArena 基准，用孪生场景评测 VLA 的语义安全
- arXiv
- 2604.12447
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- OpenVLA-OFT、π0、NORA 等4个
- 风险Agent 危险操作
- 组件视觉
摘要safe-only 微调提升良性执行，也提升匹配不安全孪生上的危险完成。
HazardArena 评测 VLA 在运动要求不变时，能否因语义风险而停手。
- 评测与基准arXiv 2602.14161
当基准说谎：在真实分布偏移下评估恶意提示分类器
提出 LODO 评测恶意提示探针的跨数据集泛化
- arXiv
- 2602.14161
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-Instruct、Gemma-3-27B、Qwen-3.5-4B 等5个
摘要作者称 LODO 露出 CV 高估，数据集身份与安全方向部分重叠，标准域泛化干预关不上。
LODO 用来检查恶意提示词分类器换成没见过的数据集后，还剩多少检测能力。。
- 评测与基准arXiv 2602.08877
自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效
提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗
- arXiv
- 2602.08877
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemma 2 9B Instruct、Llama 3.3 70B Instruct
摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。
- 评测与基准arXiv 2509.17481
ChartHal：评估大型视觉语言模型图表理解幻觉的细粒度基准
提出基准 CHART HAL，细粒度评测图表理解中的幻觉
- arXiv
- 2509.17481
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemini-2.5-Pro、GPT-5、GPT-5-mini 等15个
已经到底了