评测与基准arXiv 2605.21545
RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平
提出 RefusalBench，评测生物研究提示上的拒答率与安全校准
- arXiv
- 2605.21545
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个
- 风险拒答失当
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
- 评测与基准arXiv 2609.35312
MemoReason 基准
提出 MemoReason 基准，测量参数记忆对上下文推理的影响
- arXiv
- 2609.35312
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个
摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。
MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。
- 评测与基准arXiv 2609.38106
剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异
测量剪枝对语音 LLM 群体转写公平性的影响
- arXiv
- 2609.38106
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Whisper Small (12 layers)、Whisper Medium (24 layers)、Whisper Large-v2 (32 layers) 等 4 个
摘要剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 组件权限与沙箱
- 评测与基准arXiv 2607.05462
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险
- arXiv
- 2607.05462
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。
BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。
- 评测与基准arXiv 2610.01428
SAGO：从稳定性而非准确率出发的多维度大模型泛化评测
提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化
- arXiv
- 2610.01428
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个
摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。
SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
测量公开模型家族标签引发的多智能体派系化与合作下降
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
- 风险失准与价值偏离
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 其他arXiv 2609.39982
Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样
提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作
- arXiv
- 2609.39982
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- TMAX-9B、TMAX-4B、TMAX-27B 等 8 个
摘要Mid-Harness 在执行前选择候选动作。
Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。
- 评测与基准arXiv 2609.03511
多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析
构建 IndicReStruct，评测保语义结构扰动下的多语言数学推理
- arXiv
- 2609.03511
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-it、Gemma-2-27B-it、GPT-OSS-20B 等 7 个
摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率，轻量微调未能补上。
IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。
已经到底了