Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 148 papers
Filter1

Another 313papers do not have category tags yet and are not included in filtered results.

  1. DistressBench: Evaluating multi-dimensional crisis support in large language models

    Introduces DistressBench, evaluating models' multidimensional support in crisis conversations

    Published
    Evaluated models
    Muse Spark 1.2, Muse Spark 1.3, Muse Glimmer 30B and others20
    AbstractThe model is more restrained and acts less.

    DistressBench uses SSH dialogues written and revised by clinical personnel, and evaluates how much necessary care general chat models deliver according to weighted atomic criteria, rather than whether they refuse. When users disclose suicidal ideation or self-harm to a chat model, the authors consider the expected behavior to be recognizing the crisis, calibrating empathy, de-escalating, and referring to human help. Refusal-based evaluations cannot detect failing to act after recognizing the crisis.

    Paper analysisRead analysis
  2. 研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因

    Published
    Evaluated models
    GPT-4o, Claude Sonnet 4.5, Claude Opus 4.5 and others6
    Abstract无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。

    Paper analysisRead analysis
  3. 研究:大语言模型版本更替削弱 AI 辅助科研写作筛查

    测量 LLM 版本更替对科学摘要 AI 改写检测器的影响

    Published
    Evaluated models
    RoBERTa-base, Pangram
    Abstract作者称检测器的基准准确率只是临时的,每次发布都要连同更早版本重验。

    作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。

    Paper analysisRead analysis
  4. MH-INDIC:面向印度城市与半城市语境孕产妇健康 LLM 交互的文化对齐评估框架

    提出 MH-INDIC,评测印度语境母婴健康 LLM 交互的文化对齐

    Published
    Evaluated models
    Claude Sonnet 4.6, GPT-5, Gemini 3 Pro and others10
    Abstract作者称模型可接近人群均值,但画像变异低于人类,人类分数条件可改善对话。

    MH-INDIC 是面向城市与半城市北印度母婴互动的多维文化对齐评测。 它关心的不是医学事实是否正确,而是回复是否沿家庭权威、性别期待和情绪披露来推理。做法是把 Hofstede 六维改写到互动层,再加入 MAFC、BTB、SVO、MHS。

    Paper analysisRead analysis
  5. BeliefScope:区分证据与用户压力对模型信念影响的受控框架

    用 BeliefScope 分离固定命题上证据与压力对模型信念的影响

    Published
    Evaluated models
    Qwen3-8B, Llama3.1-8B, Gemma3-12B and others4
    AbstractBeliefScope 把证据修正与压力偏移拆成绑定评测条件的行为画像。

    BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。

    Paper analysisRead analysis
  6. EpiReal-Bench:商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench,评测图像生成器将虚假主张渲染为可信证据

    Published
    Attacker
    Black-box
    Evaluated models
    GPT-Image-2, Nano Banana 2, Grok Imagen 2.0 and others4
    Abstract四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    Paper analysisRead analysis
  7. 研究:叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱

    Published
    Evaluated models
    Qwen3-1.7B, Qwen3-4B, GLM-4-9B
    AbstractGUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    Paper analysisRead analysis
  8. PatchBench 提出激活补丁局部评测协议,揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤

    Published
    Evaluated models
    Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, gemma-3-4b-it and others8

    Abstract论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。

    Paper analysisRead analysis
  9. 研究:九种 LLM 说服力评测方法排名仅弱相关

    适配多种已发表说服评测并比较模型排名

    Published
    Evaluated models
    Claude-Fable-5.1, GPT-5.6-Sol, Kimi-K2.6 and others15
    Abstract说服分数混合能力与意愿,换任务后同一模型的排名可以差很多。

    这项研究比较的是自动化说服评测是否一致,而不是哪一种分数更正确。

    Paper analysisRead analysis
  10. 研究比较连续训练阶段对大语言模型说服力的影响

    比较连续后训练阶段如何改变语言模型的说服力

    Published
    Evaluated models
    mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, GPT-4
    Abstract作者称说服性 SFT 提高失调模型的态度变化,IPO 无额外收益,GPT-4 不异于中性文本。

    作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。

    Paper analysisRead analysis
  11. Abstract五模型、七族表面形式的四态评测里,低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    Paper analysisRead analysis
  12. 论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架,测量各类风险的对齐负担如何随规模变化

    Published
    Evaluated models
    Pythia (14m–2.8b), Qwen2.5 (0.5B–72B), Qwen2.5-Instruct (0.5B–14B) and others4
    Abstract论文提出了分风险对齐标度律框架,测得真实性与倾向纠错呈标度有益,但盲后门仍存活,揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    Paper analysisRead analysis
  13. CCDF 数据集:Grok Imagine、Veo 3.1、Sora 2 伪造监控录像,十个深伪检测器基本认不出

    提出监控深伪基准 CCDF,在统一编码后评测检测器对伪造犯罪事故录像的识别

    Published
    Evaluated models
    C2P-CLIP, ForgeLens, D3-Im and others10

    Abstract提出消除格式捷径的监控深度伪造基准 CCDF,揭示现有检测器难以识别商用生成视频。

    Paper analysisRead analysis
  14. ES-Trace 审计 26 个代码模型的伦理采购披露,仅看 Model Card 平均得分 1.77/5

    提出 ES-Trace,审计代码生成模型模型卡内外的伦理来源披露

    Published
    Evaluated models
    santacoder, starcoder, CodeLlama-34b-Instruct-hf and others19
    Abstract顺着声明引用审计后披露分数上升,但社会与劳动方面仍然少有证据。

    ES-Trace 是一套参考感知的披露审计,用来测量代码生成模型的公开文档里能观察到多少 ES-CodeGen 证据。

    Paper analysisRead analysis
  15. SteerScope:面向 LLM 引导方法的多维评测套件

    提出 SteerScope 多维评测 LLM 激活引导的功效与副作用

    Published
    Evaluated models
    Gemma-2-2B-it, Gemma-2-9B-it
    Abstract作者称默认等权下,activation steering 未能在副作用不更大时超过 Prompt Steering。

    SteerScope 是一套 LLM steering 评测套件,用来同时记录目标概念有没有被诱导出来、模型还被连带改了什么,以及这些改变在换语言提示和减少训练样本后还剩多少。

    Paper analysisRead analysis
  16. HARP:在硬资源约束下为 LLM 评测动态分配预算

    提出 HARP,在硬预算约束下为多轮评测动态分配交互并校准预测界

    Published
    Evaluated models
    Qwen 2.5 14B, Llama 3.1 8B, Phi-4 Mini and others4
    AbstractHARP 用分组预留与回流,在硬预算下校准多轮 time-to-event 界和指标。

    HARP 是硬计算预算下的多轮评测分配与校准方法,用来构造 time-to-event 预测界,并估计越狱率一类边际指标。

    Paper analysisRead analysis