Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 13 papers
Filter5
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 216papers have no tags yet and are not included in filtered results.

Another 216papers do not have category tags yet and are not included in filtered results.

  1. Paper audits LLM judge reliability: repeated agreement does not equal correctness

    Auditing LLM judge reliability and defining trustworthy verdict rate and accuracy upper bound

    Published
    Evaluated models
    GPT-5.2, GPT-4o, Gemini-2.5-Pro and others6
    AbstractThe authors claim that comparing judges should look at T, not just accuracy.

    The authors audit whether LLM-as-a-Judge decisions can still be treated as actionable ground truth under repeated queries, swapped candidate order, and changed prompt formats.

    Paper analysisRead analysis
  2. DefensesarXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源,提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验,从隐藏表示识别未见越狱源

    Published
    Evaluated models
    Llama2-7B-chat, Qwen2.5-7B-Instruct, Gemma-2-9B-it and others4
    AbstractPersist-3 用有限窗口检验攻击流是否超出已知越狱源,检出率低于全历史 SR-DKW,但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器,用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    Paper analysisRead analysis
  3. PyINE:用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准,训练捷径跟随模型并比较监督者

    Published
    Evaluated models
    shortcut-following model organism, gpt-4o, gpt-5 and others12
    AbstractPyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架,PyINE-v1 是其第一次发布。

    Paper analysisRead analysis
  4. FAME:用反事实推理评测自主智能体的虚假记忆

    提出 FAME,用反事实概念漂移评测智能体虚假记忆

    Published
    Evaluated models
    Llama-3B
    AbstractFAME 用反事实引起的隐状态概念漂移,在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架,用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    Paper analysisRead analysis
  5. 研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    Published
    Evaluated models
    Llama-Guard 7B, Llama-Guard-2 8B, Llama-Guard-3 8B and others10
    Abstract对抗包装使 guard 高置信漏检,而对应 base 在同一输入上常更不确定。

    诊断性分析:五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。

    Paper analysisRead analysis
  6. RewardExplainer:用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer,用反事实偏好反馈学习奖励模型解释

    Published
    Evaluated models
    FsfairX-LLaMA3-RM-v0.1, Skywork-Reward-V2-Qwen3-1.7B, RM-Mistral-7B and others6
    AbstractRewardExplainer 用双向反事实反馈训练 RM 解释器,并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型,训练一个可复用的自然语言机制解释器,并把解释接到偏差发现与 RM 微调上。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.32720

    BiasReducer:面向奖励模型的自适应偏见缓解方法

    B IAS R EDUCER 只改奖励头,按数据集选择属性编辑。

    Published
    Evaluated models
    Skywork-Reward-V2-Qwen3-1.7B, GRM-Llama3.2-3B-rewardmodel-ft, RM-Mistral-7B and others7
    AbstractBIASREDUCER 按数据集选择奖励头编辑,五模型三基准平均提升并迁移到下游训练。

    BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架,用来降低模型对预定义表面属性的依赖,并按新数据集决定改哪些属性。

    Paper analysisRead analysis
  8. 研究称 GPT 系列安全训练把性别歧视转化而非消除

    提出 harm laundering,证明安全训练改写而非消除性别歧视

    Published
    Evaluated models
    gpt2, gpt2-medium, gpt2-large and others15
    AbstractGPT 谱系上毒性下降与表征伤害上升并存。

    Wyer、Black 与 Al Moubayed 用 OpenAI GPT 谱系检验:毒性分数下降是否等于歧视减少。 他们的答案是否定的,并把“显性伤害被改写成评测指标看不见的形式”称为 harm laundering。

    Paper analysisRead analysis
  9. Influence Score 与 Transformer 可解释性:推理时注意力头有效影响的度量

    提出 influence score,量化提示注入检测器各注意力头的有效贡献

    Published
    Evaluated models
    DeBERTa-v3-base prompt-injection classifier
    Abstract该分数把注意力头的方向与残差贡献连到分类,并分开正确与错误预测。

    这项工作在推理时给提示注入检测分类器的注意力头一个影响分数,用来看分类决策从哪些头来。缺口是电路分析往往要重插桩,只看输出又不知道内部组件的贡献。作者希望同时看到决策在哪一层形成、哪些头在推,以及正确与错误是否对应不同机制。

    Paper analysisRead analysis
  10. Gut-VLM 基准:九种幻觉检测方法在胃肠道内镜 VLM 上的评测

    在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法

    Published
    Evaluated models
    MedGemma-4B, MedGemma-27B, LLaVA-Med-7B and others5
    Abstract九种检测方法在 Gut-VLM 五模型上的比较中,ReXTrust 的 AUC 均为最高。

    这是一个胃肠道内镜 VQA 幻觉检测的比较基准,不是新检测器结构的提出。

    Paper analysisRead analysis
  11. Safer Reasoning Traces: Measuring and Mitigating Chain-of-Thought Leakage in Large Language Models

    测量思维链将提示中 PII 复述进轨迹的泄漏并评测轻量检测器

    Published
    Evaluated models
    Llama 3.3:70B, Claude Opus, Mixtral 8×22B and others7
    Abstract作者称 CoT 抬高逐字泄漏且随模型与预算而变,检测器也需按模型选择。

    在“不要复述 PII”的输出策略下,本文用 black-box 协议测量提示词中的 PII 被写回 CoT 与答案的情况,并比较轻量 gatekeeper。

    Paper analysisRead analysis
You have reached the end