跳到正文
10月9日 · 周五

全部论文

找到 25 篇

另有 702 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议,揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤

    发表
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  2. 评测与基准arXiv 2610.06522

    SycoLens 研究:单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测,区分谄媚翻转中的纠错与屈从

    发表
    测试
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率,提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  3. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实:对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT,测量对齐训练导致模型静默改写相悖输入

    发表
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  4. 评测与基准arXiv 2608.11816

    研究审计 9 个视觉语言模型:中文提示下国家立场改写率约为英文的三倍

    审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为

    发表
    测试
    Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等 9 个
    摘要论文系统审计了 VLM 多模态审查,发现审查正从显式拒答转向隐蔽重构,且中文提示与文本先验会放大重构倾向。

    论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。

    深度解读完整解读
  5. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准,测量参数记忆对上下文推理的影响

    发表
    测试
    GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理,但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对,测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  6. 评测与基准arXiv 2609.32763

    Mandela-Bench:36 个多模态模型更依赖记忆而非观察图像

    构建 Mandela-Bench,评测多模态模型是否凭记忆接受篡改图像

    发表
    测试
    Gemini-3.8-Flash、GPT-5.6、GLM-5.3-Flash 等 15 个
    摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见,过度依赖先验导致无法有效利用知识核验事实篡改。

    该研究系统评估了多模态大语言模型在面对无痕事实性编辑时,能否利用自身内在世界知识核验被识别出的经典图像。

    深度解读完整解读
  7. 评测与基准arXiv 2609.35902

    QH-Bench:面向中国青少年内容安全的细粒度中文基准

    构建中文青少年内容安全基准 QH-Bench,评测单轮与多轮回复的安全与有用性

    发表
    测试
    InternLM2.5-20B、InternLM2.5-7B、InternLM2.5-1.8B 等 13 个
    摘要QH-Bench 分单轮与多轮评测中文青少年内容安全,总均分高仍不消除线下接触和关系压力上的负分。

    QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准,用单轮细粒度风险和多轮跨轮机制两条轨道,评测模型回复是否既守住安全边界又提供适合年龄的帮助。

    深度解读完整解读
  8. 评测与基准arXiv 2609.32547

    研究者提出预算受限的 LLM 重复评测框架,优先深挖隐藏失败

    提出预算化发现框架,优先深评更可能隐藏失败的安全提示词

    发表
    测试
    Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个
    摘要浅层零失败的提示词仍可按潜在失败倾向排序,从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现:每条提示词有未知的逐次失败概率,浅层少量采样中的零失败并不等于该概率为零。

    深度解读完整解读
  9. 评测与基准arXiv 2610.02142

    关键词式评测会误判小模型工具调用能力,论文提出廉价诊断阶梯

    提出诊断阶梯,揭示关键词工具调用评测的假阳性

    发表
    测试
    VectraYX-600M、VectraYX-1B
    摘要宽松 B4 把不会调用的 1B 记成会调用。

    作者记录 VectraYX 系列里一次工具使用评测的假阳性,并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior,再按这一诊断修复 VectraYX-1B。

    深度解读完整解读
  10. 评测与基准arXiv 2610.01428

    SAGO:从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO,以语义等价变体上的逐例行为稳定性评测大模型泛化

    发表
    测试
    Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个
    摘要SAGO 用多轴逐例稳定性替代聚合准确率,十一个模型都未均匀泛化,且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性,而不是单一基准上的聚合准确率。。

    深度解读完整解读
  11. 评测与基准arXiv 2609.39863

    FIGS:在不惩罚共情的前提下评测多轮谄媚

    提出 FIGS 双轴基准,评测多轮对话中的谄媚与校准性共情

    发表
    测试
    DeepSeek V4.1 Flash、Gemini 3.8 Flash、GLM 5.3 等 8 个
    摘要FIGS 把守事实和恰当共情分开计分,事实向提示会换来更冷的失败。

    FIGS 是一个固定的多轮评测套件,用来同时看模型会不会在压力下放弃事实,以及会不会在守住事实时忽略用户实际说过的感受。

    深度解读完整解读
  12. 评测与基准arXiv 2606.18936

    SciRisk-Bench:面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench,按风险维度与学科评测 AI4Science 安全

    发表
    测试
    kimi-k2.6、glm-5.1、gemini-3-flash-preview 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准,用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现,而不安全输出不限于事实错误。现有科学能力基准不测安全,领域安全基准又多集中在化学、医学或生物,或只按宽泛安全类别打分。

    深度解读完整解读
  13. ObserverBench:用干预与控制任务检验机制可解释性估计

    提出 ObserverBench,比较机制估计精度与动作损失

    发表
    测试
    two-block Transformers、GPT-2-small、Qwen2.5-7B 等 6 个
    摘要ObserverBench 在固定决策下分开报告估计精度与动作损失,三者可以不一致。

    ObserverBench 评测一个内部观察器是否够格指导某项具体干预、闭环或安全策略,而不是只看平均估计精度。

    深度解读完整解读
  14. LLM 如何处理上下文知识冲突:ContextConflict 数据集与机制可解释性分析

    构建 CONTEXT CONFLICT 解释模型如何表征并化解语境知识冲突

    发表
    测试
    gpt-5、claude-4.5-sonnet、gemini-2.5-pro 等 7 个
    摘要CONTEXT CONFLICT 显示模型能内部察觉冲突,却偏向靠前证据。

    CONTEXT CONFLICT 把问题从“参数知识对外部语境”转到“语境内部多来源证据互相冲突”,并同时给出数据、机制分析和一种无训练转向。

    深度解读完整解读
  15. 多语言 LLM 在语义保持结构扰动下的结构敏感性:IndicReStruct 基准与机制可解释性分析

    构建 IndicReStruct,评测保语义结构扰动下的多语言数学推理

    发表
    测试
    Gemma-2-9B-it、Gemma-2-27B-it、GPT-OSS-20B 等 7 个
    摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率,轻量微调未能补上。

    IndicReStruct 用保语义的成分重排和语态变换,检验多语言 LLM 的数学推理是否依赖表层语序。

    深度解读完整解读
  16. 评测与基准arXiv 2609.13556

    Llama-3.1 医学微调模型在专业术语理解上为何不如通用版:一项机制可解释性对比分析

    提出 JU 与 JI 基准,并用组件分解定位术语知识

    发表
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-8B-UltraMedical
    摘要医学微调的 UltraMedical 在两项术语任务上不如 Instruct,偏差来自少数组件被加重。

    作者用两项术语基准和组件分解,比较通用与医学微调的 Llama-3.1-8B 如何编码领域术语。。

    深度解读完整解读
  17. 评测与基准arXiv 2609.39473

    FAME:用反事实推理评测自主智能体的虚假记忆

    提出 FAME,用反事实概念漂移评测智能体虚假记忆

    发表
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移,在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架,用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读