Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 35 papers

Another 281papers do not have category tags yet and are not included in filtered results.

  1. AbstractThe authors claim HarmBench does not correspond to a single harmful refusal, and behaviors should be separated when comparing models.

    This is a construct validity audit of HarmBench in HELM Safety, examining whether harmful refusal can be read as a single attribute when interpreting scores.

    Paper analysisRead analysis
  2. Paper audits LLM judge reliability: repeated agreement does not equal correctness

    Auditing LLM judge reliability and defining trustworthy verdict rate and accuracy upper bound

    Published
    Evaluated models
    GPT-5.2, GPT-4o, Gemini-2.5-Pro and others6
    AbstractThe authors claim that comparing judges should look at T, not just accuracy.

    The authors audit whether LLM-as-a-Judge decisions can still be treated as actionable ground truth under repeated queries, swapped candidate order, and changed prompt formats.

    Paper analysisRead analysis
  3. 研究提出三项指标衡量 LLM 不思考行为,发现被要求停止思考时仍持续显式推理

    度量关闭思考指令下终答前是否仍有可见显式推理

    Published
    Evaluated models
    Qwen3-4B, Qwen3-32B, Qwen3-235B-A22B and others6
    Abstract作者用三级指标测 no-thinking,并称模型有随答案空间加重的思考惯性。

    作者把 no-thinking 定义为可测量的回答行为,而不是从思考开关、特殊标记或输出长度推断。

    Paper analysisRead analysis
  4. 研究发现大语言模型被要求不诚实作答时推理 token 数上升

    检验推理 token 数能否区分被提示的诚实与不诚实作答

    Published
    Evaluated models
    Gemma-4-e4b, Qwen-3.5-9b, GPT-OSS-120B
    Abstract被提示不诚实时推理 token 组水平更高。

    三个推理模型在被提示的回答政策下出现组水平推理 token 差异。作者把它当作不读思维链内容的 black-box 候选信号,而不是自发欺骗检测器。

    Paper analysisRead analysis
  5. 东京大学研究:推理模型按 UUID 阈值或整除规则挑选审计样本,控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样,使审计可被预测

    Published
    Evaluated models
    GPT-6 Sol, GPT-6 Luna, GPT-5.4 mini and others6

    Abstract研究揭示推理智能体将标识符转化为确定性规则,破坏群体独立性并导致审计预测漏洞,建议显式提供随机输入。

    Paper analysisRead analysis
  6. 审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分,发现其反映场景模板而非危险感知

    Published
    Evaluated models
    CLIP ViT-B/32, CLIP ViT-L/14, Qwen2-VL-7B
    Abstract论文审计了冻结 VLM 安全评分机制,指出其反映场景模板而非危险感知,为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型(VLM)安全评分机制的实证审计研究。

    Paper analysisRead analysis
  7. 研究:财务信息披露越少,Llama-3.1-8B-Instruct 的理财建议越受身份影响

    测量财务事实变少时身份对股权配置建议的替代

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Qwen2.5-1.5B-Instruct
    Abstract身份摆幅随披露减少上升。

    同一财务只改人设,测量披露变薄时股权建议里的身份替代。

    Paper analysisRead analysis
  8. Research reveals that text watermarks induce model hallucinations and proposes two mitigation interventions

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    Published
    Evaluated models
    LLaMA 3.1 8B Instruct, Mistral-7B-Instruct-v0.3, Qwen2.5-14B-Instruct
    Abstract论文揭示了生产环境文本水印导致模型事实退化的失效模式,分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响,分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    Paper analysisRead analysis
  9. 高效推理训练并非总损害思维链忠实性与可监控性

    测量三种长度压力训练对 CoT 忠实性与可监控性的影响

    Published
    Evaluated models
    Qwen3-4B-Thinking-2507, Qwen3-8B, Olmo3-7B-Think
    Abstract效率训练多通过答案不一致损害忠实性。

    这项工作比较三种缩短 CoT 的 RL 训练,看监督用的推理痕迹还剩多少。

    Paper analysisRead analysis
  10. 生物推理模型何时真正使用其生物输入?

    检验生物推理模型是否使用其生物输入而非仅跟随文本

    Published
    Evaluated models
    BioReason, BioReason-Pro, ChatNT and others7
    Abstract作者称后训练提高准确率并不保证生物表示有贡献,评测应同时看输入是否被正确使用。

    作者检验生物推理模型的答案是否依赖它收到的生物输入,而不是把基准准确率直接当成使用证据。

    Paper analysisRead analysis
  11. 研究:iGSM 基准显示正确答案常伴随无效思维链

    检查正确答案对应的思维链是否构成合法推导

    Published
    Evaluated models
    124M-parameter GPT-2-style models(12-layer, hidden size 768, rotary embeddings)
    AbstractiGSM 上答案正确、轨迹合法与极简性可以分开,分布偏移下差距变大。

    iGSM 上的程序可检查实验:正确答案并不保证思维链是合法推导。。作者针对一个被用于监测和解读的假设:发出的轨迹忠实于、或至少可靠相关于模型如何得到答案。

    Paper analysisRead analysis
  12. 研究:隐蔽推理必然留下信息痕迹,但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    Published
    Evaluated models
    Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Qwen 3.5 397B-A17B and others12

    Abstract论文从理论与实证探明了思维链监控的边界:复杂隐蔽计算必然泄露信息足迹且需承担长度税,但该足迹可被在线加密而不可读。

    Paper analysisRead analysis
  13. 研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    Published
    Evaluated models
    Llama-Guard 7B, Llama-Guard-2 8B, Llama-Guard-3 8B and others10
    Abstract对抗包装使 guard 高置信漏检,而对应 base 在同一输入上常更不确定。

    诊断性分析:五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。

    Paper analysisRead analysis
  14. RewardExplainer:用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer,用反事实偏好反馈学习奖励模型解释

    Published
    Evaluated models
    FsfairX-LLaMA3-RM-v0.1, Skywork-Reward-V2-Qwen3-1.7B, RM-Mistral-7B and others6
    AbstractRewardExplainer 用双向反事实反馈训练 RM 解释器,并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型,训练一个可复用的自然语言机制解释器,并把解释接到偏差发现与 RM 微调上。

    Paper analysisRead analysis
  15. 研究揭示语义保持变换下的 LLM 对齐与效用不对称

    用语义保留变换探针比较效用与对齐在分布偏移下的稳定性

    Published
    Evaluated models
    Llama3-8B-Instruct, Gemma-7B-it, Qwen2.5-7B-Instruct and others10

    Abstract论文报告了语义保留变换下的对齐-效用不对称性,指出安全对齐泛化比效用更为脆弱,呼吁改进评估流程。

    Paper analysisRead analysis
  16. 论文指出消除人口统计信息的不变性约束可能制造新偏见

    分析消除人口统计信息的不变性约束如何制造新偏见

    Published
    Evaluated models
    Fair Normalizing Flows, MMD regularizer, adversarial and others5
    Abstract表示不变性不是公平的充分条件。

    这篇分析考察的是:为了公平而从潜表示中去掉人口统计信息,是否可取、是否足够。作者认为,表示能解码出群体归属,本身并不解释不公平。任务特征可以与群体相关,患病率不同时,抹平边际分布会迫使错误率在群体间分开。

    Paper analysisRead analysis