跳到正文
10月9日 · 周五

可解释性 · 论文

找到 142 篇

另有 62 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    发表
    测试
    gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it 等 8 个
    摘要提出多目标验证框架与模型合并训练法,证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物(Model Organisms)的多目标训练与验证体系。

    深度解读完整解读
  2. 防御arXiv 2610.09600

    SafeEvo:从拒答回路视角解释大模型安全对齐机制与演化

    用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路

    发表
    测试
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  3. 可解释性arXiv 2610.08559

    研究:LLM 潜在空间去偏方向主要编码置信度而非公平性

    分析 LLM 去偏激活方向,发现其编码置信度而非公平性

    发表
    测试
    Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个

    摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性,偏见评分下降实为诱发弃答或使概率均分的假象。

    深度解读完整解读
  4. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract,审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约,审计激活监控的告警策略

    发表
    测试
    Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架,实证表明高 AUROC 不等于部署有效性,仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  5. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    发表
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性,自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角,系统研究了大语言模型在风险承担(Risk-Taking)场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  6. 评测与基准arXiv 2610.02928

    研究用变异分析检验智能体基础设施验证套件的覆盖能力

    用变异分析检验会话投影层不变式套件的缺陷覆盖

    发表
    摘要作者称通常的通过/失败证据价值不大:认证过的套件仍只杀死十个外部故障中的五个。

    作者测量一套看守智能体基础设施的不变式套件:通常拿来许可部署的「通过正确代码、失败损坏代码」,实际上能支持什么。

    深度解读完整解读
  7. 其他arXiv 2610.02268

    ExecCert:为机器遗忘提供可执行发布认证

    提出 ExecCert,发布前核验机器遗忘候选是否落入预定可接受集

    发表
    测试
    Llama-3.2-3B-Instruct、DINOv2、RoBERTa
    摘要ExecCert 在发布前核验具体遗忘产物,并可改变放行决定。

    ExecCert 是放在遗忘生成器与发布门之间的认证层,用来检查具体有限精度产物是否满足预先声明的契约。

    深度解读完整解读
  8. 可解释性arXiv 2610.03698

    DINOv2 中 register token 与高范数 patch token 的功能角色解析

    用 SAE 解析 ViT 中 register 与高范数 patch 的功能角色

    发表
    测试
    facebook/dinov2-small、facebook/dinov2-with-registers-small
    摘要register 特征更偏高层语义且消融影响大,outlier 更偏纹理且消融影响小。

    作者用 SAE 比较 DINOv2 中 register token 与高范数 outlier patch token 的语义和功能。register 能减少背景区高范数伪影,但两类 token 编码什么、特征是否分开、消融影响是否不同,此前没有充分建立。在 ImageNet-1k 上取 layer-8 激活:facebook/dinov2-small 用于 outlier 与 Base full,facebook/dinov2-with-registers-small 用于 register 与 Register full。

    深度解读完整解读
  9. 防御arXiv 2610.03502

    研究者提出可认证机制编辑:在连续输入区域上证明技能移除与保留

    提出机理编辑形式化认证,证明连续输入区域上的技能移除与保留

    发表
    测试
    Toy MLP (separated)、Toy MLP (entangled)、Deep MLP (3-12-8-2) 等 6 个

    摘要提出机理编辑形式化认证框架,证明编辑在连续区域生效且黑盒测试无法保证移除,为安全编辑提供数学证明。

    深度解读完整解读
  10. 其他arXiv 2610.03389

    Patch-to-Prune:在 Qwen2.5-VL 与 LLaVA 上剪枝视觉计算

    提出 Patch-to-Prune,旁路 VLM 部分层的视觉投影计算

    发表
    测试
    Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、LLaVA-v1.6-Vicuna-7B-HF 等 4 个
    摘要P2P 用深度上的激活修补旁路视觉投影,以可调容忍度交换准确率与计算量。

    P2P 是面向 VLM 推理的训练无关计算旁路:不删除视觉 token,而在选定 decoder 层用固定激活代理代替视觉投影。

    深度解读完整解读
  11. 其他arXiv 2610.03163

    预测引导向量与适配器权重实现少样本作者风格迁移

    预测引导向量与 LoRA 权重,实现少样本作者风格迁移

    发表
    测试
    Qwen3-4B-Instruct-2507、GPT-OSS-20B、distilbert-base-uncased
    摘要三摘要冷启动下,超网络在两套测试的点估计权衡中处在中间。

    在基座冻结、只有三篇摘要的冷启动下,生成符合特定作者文风的科学论文摘要。

    深度解读完整解读
  12. 其他arXiv 2610.02391

    HEST:用熵训练的双曲探针实现稀疏激活引导

    提出 HEST,用熵训练的双曲探针只在犹豫 token 引导隐状态

    发表
    测试
    Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct、Llama-3.1-8B-Instruct
    摘要只改高熵 token 的双曲转向,多数设置高于 greedy,全 token 固定向量则下降。

    HEST 是不更新语言模型权重的推理时转向:模型自己的 next-token 熵既选出少数犹豫 token,也训练给出方向的双曲探针。要处理的情况是,数学解答里多数 token 已由上下文决定,分叉集中在高熵 token,而常见激活加法仍对每个 token 加同一欧氏向量。长推理模型上按关键词和步骤边界转向的做法,又很少适用于 instruction-tuned 模型。

    深度解读完整解读
  13. 风险行为arXiv 2610.03458

    论文:低监控读数不能证明行为受控

    检验监控器低读数能否作为代码奖励作弊已受控的证据

    发表
    测试
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控,模型可利用通用外壳推迟提交绕过监控,强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练(RLVR)中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是:在训练目标中引入监控器以抑制代码生成中的作弊行为时,接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  14. 防御arXiv 2610.01170

    HeadEdit:通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit,经冻结 unembedding 做随输入变化的 logit 校正

    发表
    测试
    Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
    摘要低秩 unembedding 校正抬高九个设置的总体准确率,并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法,作用点是冻结的 unembedding,而不是中间层残差或新的梯度优化。

    深度解读完整解读
  15. 其他arXiv 2610.01995

    AI 监督能否做到零知识?论文证明一般情形下不可行

    证明随机谕示下谕示辅助计算无法零知识验证,签名谕示下则可

    发表
    摘要随机谕示排除一般零知识监督。

    一般谕示辅助计算在随机谕示中做不到 witness hiding,因而也做不到零知识监督。给谕示答案加上数字签名后,抗碰撞哈希足以同时得到隐私和简洁验证。

    深度解读完整解读
  16. 攻击arXiv 2607.23496

    Concept2Scenario:用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario,借助内部概念归因发现可迁移的越狱场景

    发表
    攻击者
    白盒、黑盒
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制,发现可复用脆弱场景先验,提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  17. 可解释性arXiv 2610.01495

    路由熵能否作为 Attention-Residual Transformer 的不确定性信号?一项审计研究

    审计路由熵是否在置信度之外仍携带预测正确性信息

    发表
    测试
    Swin-Tiny、DeiT-Small、ViT-B/16
    摘要打乱对照上的优势没有变成相对置信度的优势,且已知信号下探针只恢复一部分效应。

    这篇工作审计 Attention-Residual 视觉 Transformer 的路由熵,能否在模型自身输出之外充当不确定性信号。

    深度解读完整解读
  18. 可解释性arXiv 2609.14759

    研究:拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预,分析拒绝机制读取的道德表征

    发表
    测试
    OLMo-3-7B-Instruct、OLMo-3-7B base、Qwen2.5-7B-Instruct 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知,在控制瓶颈处运作,阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读