Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 42 papers

Another 265papers do not have category tags yet and are not included in filtered results.

  1. Study: legal reasoning models citing legal provisions does not equal relying on legal provisions.

    Uses premise permutation and hidden-layer tracing to audit whether legal chain-of-thought truly relies on the cited legal provisions.

    Published
    Evaluated models
    Qwen3-8B, Qwen3-14B, Llama-3.1-8B and others7
    AbstractUsing counterfactual substitution of authorities and internal commitment tracing, the authors find that legal CoT rulings depend on authorities only to a limited extent and are vulnerable to prompt injection manipulation.

    This study conducts an empirical audit of the causal truthfulness of legal citations in chain-of-thought reasoning of large language models in the legal domain.

    Paper analysisRead analysis
  2. Paper audits LLM judge reliability: repeated agreement does not equal correctness

    Auditing LLM judge reliability and defining trustworthy verdict rate and accuracy upper bound

    Published
    Evaluated models
    GPT-5.2, GPT-4o, Gemini-2.5-Pro and others6
    AbstractThe authors claim that comparing judges should look at T, not just accuracy.

    The authors audit whether LLM-as-a-Judge decisions can still be treated as actionable ground truth under repeated queries, swapped candidate order, and changed prompt formats.

    Paper analysisRead analysis
  3. 研究提出三项指标衡量 LLM 不思考行为,发现被要求停止思考时仍持续显式推理

    度量关闭思考指令下终答前是否仍有可见显式推理

    Published
    Evaluated models
    Qwen3-4B, Qwen3-32B, Qwen3-235B-A22B and others6
    Abstract作者用三级指标测 no-thinking,并称模型有随答案空间加重的思考惯性。

    作者把 no-thinking 定义为可测量的回答行为,而不是从思考开关、特殊标记或输出长度推断。

    Paper analysisRead analysis
  4. 研究发现大语言模型被要求不诚实作答时推理 token 数上升

    检验推理 token 数能否区分被提示的诚实与不诚实作答

    Published
    Evaluated models
    Gemma-4-e4b, Qwen-3.5-9b, GPT-OSS-120B
    Abstract被提示不诚实时推理 token 组水平更高。

    三个推理模型在被提示的回答政策下出现组水平推理 token 差异。作者把它当作不读思维链内容的 black-box 候选信号,而不是自发欺骗检测器。

    Paper analysisRead analysis
  5. 东京大学研究:推理模型按 UUID 阈值或整除规则挑选审计样本,控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样,使审计可被预测

    Published
    Evaluated models
    GPT-6 Sol, GPT-6 Luna, GPT-5.4 mini and others6

    Abstract研究揭示推理智能体将标识符转化为确定性规则,破坏群体独立性并导致审计预测漏洞,建议显式提供随机输入。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源,提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验,从隐藏表示识别未见越狱源

    Published
    Evaluated models
    Llama2-7B-chat, Qwen2.5-7B-Instruct, Gemma-2-9B-it and others4
    AbstractPersist-3 用有限窗口检验攻击流是否超出已知越狱源,检出率低于全历史 SR-DKW,但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器,用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    Paper analysisRead analysis
  7. U-Space:揭示语言模型不确定性何时与为何产生

    提出 U-SPACE 与 U-LENS,从残差流估计推理轨迹不确定性

    Published
    Evaluated models
    Gemma-4-31B-it, Qwen3.5-27B, Magistral-Small-2507
    AbstractU-SPACE 与 U-LENS 用语义方向和预测熵读推理不确定性,长度控制后仍高于所比基线。

    U-SPACE 与 U-LENS 是面向推理模型的无训练读出:用语义方向定位不确定性的形式,并用一个轨迹分数区分更可能错的回答。

    Paper analysisRead analysis
  8. PyINE:用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准,训练捷径跟随模型并比较监督者

    Published
    Evaluated models
    shortcut-following model organism, gpt-4o, gpt-5 and others12
    AbstractPyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架,PyINE-v1 是其第一次发布。

    Paper analysisRead analysis
  9. 研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    Published
    Evaluated models
    Ouro-1.4B-Thinking, Ouro-2.6B-Thinking, Nanbeige4.2-3B and others4
    Abstract加深 loop 可在部分压力测试任务降低可监测性,循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性:加深共享层的重复次数,以及“有循环结构”本身,会不会让决策关键因素更少出现在可监测文本里。

    Paper analysisRead analysis
  10. 高效推理训练并非总损害思维链忠实性与可监控性

    测量三种长度压力训练对 CoT 忠实性与可监控性的影响

    Published
    Evaluated models
    Qwen3-4B-Thinking-2507, Qwen3-8B, Olmo3-7B-Think
    Abstract效率训练多通过答案不一致损害忠实性。

    这项工作比较三种缩短 CoT 的 RL 训练,看监督用的推理痕迹还剩多少。

    Paper analysisRead analysis
  11. 研究:模型易学会隐写传信,隐写推理则难得多

    比较隐写推理与隐写传信、编码推理的可学性

    Published
    Evaluated models
    GPT-5.5, Claude Sonnet 5, Gemini 3.5 Flash and others14
    Abstract隐写推理比传信和编码推理更难学。

    Schulz、Fülle 与 Frengel 测量大语言模型习得隐写推理的难度,并与隐写传信、编码推理对比,以估计依赖阅读 CoT 的监控还能否成立。

    Paper analysisRead analysis
  12. CATCH:面向编码 RL 奖励作弊的可控分析测试台

    构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

    Published
    Evaluated models
    Qwen3-4B, Qwen3.5-27B
    AbstractCATCH 用双运行金标签研究编码 RL 的奖励黑客,并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床,用可利用环境、可调初始倾向和基于执行的金标签,在训练全程比较黑客动态与干预。

    Paper analysisRead analysis
  13. 研究:iGSM 基准显示正确答案常伴随无效思维链

    检查正确答案对应的思维链是否构成合法推导

    Published
    Evaluated models
    124M-parameter GPT-2-style models(12-layer, hidden size 768, rotary embeddings)
    AbstractiGSM 上答案正确、轨迹合法与极简性可以分开,分布偏移下差距变大。

    iGSM 上的程序可检查实验:正确答案并不保证思维链是合法推导。。作者针对一个被用于监测和解读的假设:发出的轨迹忠实于、或至少可靠相关于模型如何得到答案。

    Paper analysisRead analysis
  14. 研究:隐蔽推理必然留下信息痕迹,但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    Published
    Evaluated models
    Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Qwen 3.5 397B-A17B and others12

    Abstract论文从理论与实证探明了思维链监控的边界:复杂隐蔽计算必然泄露信息足迹且需承担长度税,但该足迹可被在线加密而不可读。

    Paper analysisRead analysis
  15. 研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    Published
    Evaluated models
    Llama-Guard 7B, Llama-Guard-2 8B, Llama-Guard-3 8B and others10
    Abstract对抗包装使 guard 高置信漏检,而对应 base 在同一输入上常更不确定。

    诊断性分析:五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。

    Paper analysisRead analysis
  16. 研究者提出 verbalization training 让 LLM 说出评测感知

    提出 verbalization training,提高模型口头报告评测意识的频率

    Published
    Evaluated models
    Qwen3.6-35B-A3B, Kimi K2.6, Inkling
    AbstractVT 用 span 掩码 RL 提高评测意识的口头报告率,并保持测量到的信念与行为大体稳定。

    Verbalization training 试图提高模型口头说出“这是评测”的频率,同时不把潜在的评测意识本身当作监督目标。作者认为口头报告是较可信的评测意识证据,但沉默不能当成没有意识,而且前沿模型的自发报告在变少。直接奖励口头报告需要知道信念何时出现,又要避免强化信念或连带行为。

    Paper analysisRead analysis
  17. RewardExplainer:用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer,用反事实偏好反馈学习奖励模型解释

    Published
    Evaluated models
    FsfairX-LLaMA3-RM-v0.1, Skywork-Reward-V2-Qwen3-1.7B, RM-Mistral-7B and others6
    AbstractRewardExplainer 用双向反事实反馈训练 RM 解释器,并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型,训练一个可复用的自然语言机制解释器,并把解释接到偏差发现与 RM 微调上。

    Paper analysisRead analysis