跳到正文
10月8日 · 周四

全部论文

找到 16 篇
筛选3

攻击类型

越狱1模型篡改1

模型自身风险

失准与价值偏离2危险能力3拒答失当1幻觉与编造2

防御类型

模型加固1

影响

有害内容2输出被操纵7可用性与可靠性3监督失效2滥用能力提升1

系统形态

模型与 API16

攻击面/入口

用户输入1权重与梯度1

层

提示层13模型层16应用层80训练与数据层8

系统组件

音频1图像生成1多模态1

被测模型厂商

Google19OpenAI15Qwen（阿里）15Meta13Anthropic8DeepSeek7智谱 GLM7其他19
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
层：模型层被测模型厂商：Anthropic被测模型厂商：其他清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    测试
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  2. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  3. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准，测量参数记忆对上下文推理的影响

    arXiv
    2609.35312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、GPT-OSS-20B、GPT-OSS-120B 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  4. 评测与基准arXiv 2610.02142

    关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

    提出诊断阶梯，揭示关键词工具调用评测的假阳性

    arXiv
    2610.02142
    发表
    层
    模型层
    场景
    模型与 API
    测试
    VectraYX-600M、VectraYX-1B
    摘要宽松 B4 把不会调用的 1B 记成会调用。

    作者记录 VectraYX 系列里一次工具使用评测的假阳性，并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior，再按这一诊断修复 VectraYX-1B。

    深度解读完整解读
  5. 评测与基准arXiv 2610.01428

    SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

    arXiv
    2610.01428
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude-Sonnet-4.6、Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct 等 11 个
    摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。

    深度解读完整解读
  8. 评测与基准arXiv 2609.39863

    FIGS：在不惩罚共情的前提下评测多轮谄媚

    提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情

    arXiv
    2609.39863
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Fable 5.1、DeepSeek V4.1 Flash、Gemini 3.8 Flash 等 8 个
    摘要FIGS 把守事实和恰当共情分开计分，事实向提示会换来更冷的失败。

    FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

    深度解读完整解读
  9. 评测与基准arXiv 2606.18936

    SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

    arXiv
    2606.18936
    发表
    层
    模型层
    场景
    模型与 API
    测试
    S1-Base-Lite、S1-Base-Ultra、S1-Base-Pro 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。

    深度解读完整解读
  10. 评测与基准arXiv 2609.03026

    ObserverBench：用干预与控制任务检验机制可解释性估计

    提出 ObserverBench，比较机制估计精度与动作损失

    arXiv
    2609.03026
    发表
    层
    模型层
    场景
    模型与 API
    测试
    two-block Transformers、GPT-2-small、Qwen2.5-7B 等 6 个
    摘要ObserverBench 在固定决策下分开报告估计精度与动作损失，三者可以不一致。

    ObserverBench 评测一个内部观察器是否够格指导某项具体干预、闭环或安全策略，而不是只看平均估计精度。

    深度解读完整解读
  11. 评测与基准arXiv 2609.03148

    LLM 如何处理上下文知识冲突：ContextConflict 数据集与机制可解释性分析

    构建 CONTEXT CONFLICT 解释模型如何表征并化解语境知识冲突

    arXiv
    2609.03148
    发表
    层
    模型层
    场景
    模型与 API
    测试
    claude-4.5-sonnet、gpt-5、gemini-2.5-pro 等 7 个
    摘要CONTEXT CONFLICT 显示模型能内部察觉冲突，却偏向靠前证据。

    CONTEXT CONFLICT 把问题从“参数知识对外部语境”转到“语境内部多来源证据互相冲突”，并同时给出数据、机制分析和一种无训练转向。

    深度解读完整解读
  12. 评测与基准arXiv 2609.03511

    多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析

    构建 IndicReStruct，评测保语义结构扰动下的多语言数学推理

    arXiv
    2609.03511
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Param-2-17B-A2.4B、Gemma-2-9B-it、Gemma-2-27B-it 等 7 个
    摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率，轻量微调未能补上。

    IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。

    深度解读完整解读
  13. 评测与基准arXiv 2609.08901

    论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

    诊断 BatchNorm 架构下机器遗忘评测的归一化伪影

    arXiv
    2609.08901
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ResNet-18、ResNet-50、GroupNorm-ResNet-18 等 4 个
    摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘，但不改变权重里的编码器泄露。

    BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。

    深度解读完整解读
  15. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
已经到底了