跳到正文
10月12日 · 周一

全部论文

找到 164篇

另有233篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv 2610.12758

    DistressBench:评估大语言模型的多维度危机支持

    提出 DistressBench,评测模型在危机对话中的多维支持

    发表
    被测模型
    Muse Spark 1.2、Muse Spark 1.3、Muse Glimmer 30B 等20个
    摘要模型更会克制而较少行动。

    DistressBench 用临床人员撰写并修订的 SSH 对话,按加权原子标准评通用聊天模型送达了多少必要照护,而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时,作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。

    深度解读完整解读
  2. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因

    发表
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等6个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  3. 评测与基准arXiv 2610.11599

    研究:大语言模型版本更替削弱 AI 辅助科研写作筛查

    测量 LLM 版本更替对科学摘要 AI 改写检测器的影响

    发表
    被测模型
    RoBERTa-base、Pangram
    摘要作者称检测器的基准准确率只是临时的,每次发布都要连同更早版本重验。

    作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。

    深度解读完整解读
  4. 评测与基准arXiv 2610.11586

    MH-INDIC:面向印度城市与半城市语境孕产妇健康 LLM 交互的文化对齐评估框架

    提出 MH-INDIC,评测印度语境母婴健康 LLM 交互的文化对齐

    发表
    被测模型
    Claude Sonnet 4.6、GPT-5、Gemini 3 Pro 等10个
    摘要作者称模型可接近人群均值,但画像变异低于人类,人类分数条件可改善对话。

    MH-INDIC 是面向城市与半城市北印度母婴互动的多维文化对齐评测。 它关心的不是医学事实是否正确,而是回复是否沿家庭权威、性别期待和情绪披露来推理。做法是把 Hofstede 六维改写到互动层,再加入 MAFC、BTB、SVO、MHS。

    深度解读完整解读
  5. 评测与基准arXiv 2610.11305

    BeliefScope:区分证据与用户压力对模型信念影响的受控框架

    用 BeliefScope 分离固定命题上证据与压力对模型信念的影响

    发表
    被测模型
    Qwen3-8B、Llama3.1-8B、Gemma3-12B 等4个
    摘要BeliefScope 把证据修正与压力偏移拆成绑定评测条件的行为画像。

    BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。

    深度解读完整解读
  6. 评测与基准arXiv 2610.11112

    EpiReal-Bench:商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench,评测图像生成器将虚假主张渲染为可信证据

    发表
    攻击者
    黑盒
    被测模型
    GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等4个
    摘要四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    深度解读完整解读
  7. 评测与基准arXiv 2610.11005

    研究:叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱

    发表
    被测模型
    Qwen3-1.7B、Qwen3-4B、GLM-4-9B
    摘要GUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    深度解读完整解读
  8. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议,揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤

    发表
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等8个

    摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  9. 评测与基准arXiv 2610.10232

    研究:九种 LLM 说服力评测方法排名仅弱相关

    适配多种已发表说服评测并比较模型排名

    发表
    被测模型
    Claude-Fable-5.1、GPT-5.6-Sol、Kimi-K2.6 等15个
    摘要说服分数混合能力与意愿,换任务后同一模型的排名可以差很多。

    这项研究比较的是自动化说服评测是否一致,而不是哪一种分数更正确。

    深度解读完整解读
  10. 评测与基准arXiv 2610.09964

    研究比较连续训练阶段对大语言模型说服力的影响

    比较连续后训练阶段如何改变语言模型的说服力

    发表
    被测模型
    mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated、GPT-4
    摘要作者称说服性 SFT 提高失调模型的态度变化,IPO 无额外收益,GPT-4 不异于中性文本。

    作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。

    深度解读完整解读
  11. 评测与基准arXiv 2610.09033

    研究发布 ASRD 数据集,评测五款开源模型在非规范输入下的安全表现

    发表
    被测模型
    Gemma 2 9B、Gemma 3 4B、Llama 3.1 8B 等6个
    摘要五模型、七族表面形式的四态评测里,低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    深度解读完整解读
  12. 评测与基准arXiv 2610.08540

    论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架,测量各类风险的对齐负担如何随规模变化

    发表
    被测模型
    Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等4个
    摘要论文提出了分风险对齐标度律框架,测得真实性与倾向纠错呈标度有益,但盲后门仍存活,揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    深度解读完整解读
  13. 评测与基准arXiv 2610.07939

    CCDF 数据集:Grok Imagine、Veo 3.1、Sora 2 伪造监控录像,十个深伪检测器基本认不出

    提出监控深伪基准 CCDF,在统一编码后评测检测器对伪造犯罪事故录像的识别

    发表
    被测模型
    C2P-CLIP、ForgeLens、D3-Im 等10个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF,揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  14. 评测与基准arXiv 2610.07762

    ES-Trace 审计 26 个代码模型的伦理采购披露,仅看 Model Card 平均得分 1.77/5

    提出 ES-Trace,审计代码生成模型模型卡内外的伦理来源披露

    发表
    被测模型
    santacoder、starcoder、CodeLlama-34b-Instruct-hf 等19个
    摘要顺着声明引用审计后披露分数上升,但社会与劳动方面仍然少有证据。

    ES-Trace 是一套参考感知的披露审计,用来测量代码生成模型的公开文档里能观察到多少 ES-CodeGen 证据。

    深度解读完整解读
  15. 评测与基准arXiv 2610.07722

    SteerScope:面向 LLM 引导方法的多维评测套件

    提出 SteerScope 多维评测 LLM 激活引导的功效与副作用

    发表
    被测模型
    Gemma-2-2B-it、Gemma-2-9B-it
    摘要作者称默认等权下,activation steering 未能在副作用不更大时超过 Prompt Steering。

    SteerScope 是一套 LLM steering 评测套件,用来同时记录目标概念有没有被诱导出来、模型还被连带改了什么,以及这些改变在换语言提示和减少训练样本后还剩多少。

    深度解读完整解读
  16. 评测与基准arXiv 2610.07362

    HARP:在硬资源约束下为 LLM 评测动态分配预算

    提出 HARP,在硬预算约束下为多轮评测动态分配交互并校准预测界

    发表
    被测模型
    Qwen 2.5 14B、Llama 3.1 8B、Phi-4 Mini 等4个
    摘要HARP 用分组预留与回流,在硬预算下校准多轮 time-to-event 界和指标。

    HARP 是硬计算预算下的多轮评测分配与校准方法,用来构造 time-to-event 预测界,并估计越狱率一类边际指标。

    深度解读完整解读