跳到正文
10月8日 · 周四

全部论文

找到 12 篇

另有 701 篇论文还没打上分类标签,暂不在筛选结果里。

  1. SinoGlyphBench:中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench,用配对字形混淆诊断中文审核稳定性

    发表
    测试
    Gemini 3.1 Pro Preview、Gemini 3.5 Flash、GPT-5.4 mini 等 12 个
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报,全文扰动最重。

    SinoGlyphBench是一个配对诊断基准,用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    深度解读完整解读
  2. ACEA:面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA,分开计量攻击强度与防御效果

    发表
    测试
    google/gemini-2.5-pro、google/gemma-3-27b-it、openai/gpt-4o 等 5 个
    摘要ACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地,把攻击强度和防御效果分开记分。作者要补三处空缺:双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉,拦截后又看不到攻击有多强。

    深度解读完整解读
  3. 评测与基准arXiv 2609.36931

    研究发现系统提示中隐藏日期影响 LLM 评测结果

    测量系统提示中隐藏日期对评测分数与排名的影响

    发表
    测试
    Gemma 3 Instruct (4B)、Gemma 3 Instruct (27B)、Llama 3.1 Instruct (8B) 等 10 个
    摘要只改隐藏日期就足以改变分数和排名。

    这篇工作量化一个评测协议问题:系统提示词里用户看不见、且逐日变化的当前日期,会不会单独改变 LLM 分数。

    深度解读完整解读
  4. FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准,评测模型抵御常见越狱的能力

    发表
    测试
    Gemini 3.1 Pro、Claude Fable 5、Claude Opus 4.8 等 8 个
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力,揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护,提出了 FAR.AI 最低安全标准(Minimal Standard v1.0)及配套评测基准,系统量化了当前主流模型的防护鲁棒性。

    深度解读完整解读
  5. SEAV:面向大语言模型越狱评测的有效性验证框架

    提出 SEAV,逐步核验越狱回复的事实与操作有效性

    发表
    测试
    Gemini 3 Flash、Kimi K2.5、GLM-5
    摘要SEAV 用逐步检索和依赖检查重判越狱成功,SD-A 与三个基准上的原成功标签都有一批被改判。

    SEAV 是一层生成后的越狱评测:回复要相关、事实正确、顺序合规,并且在操作上足以推进有害意图,才算成功。。

    深度解读完整解读
  6. 评测与基准arXiv 2609.29429

    Jev 被用于零样本检测十类对齐失败,中位 AUROC 达 0.886

    提出 RLCDAlignBench,零样本检测多种对齐失败

    发表
    测试
    Gemma-2-2B、Jev (jev-1.13.0)、Qwen3.5-2B 等 6 个
    摘要一次通用问题已能给多数对齐失败排序,大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev,能否当作对齐失败的零样本检测器。

    深度解读完整解读
  7. 评测与基准arXiv 2609.35028

    VEX-Bench:评测 LLM 生成虚假信息的核验复杂度

    提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度

    发表
    测试
    Gemini 3.1 Pro、Claude Sonnet 4.5、GPT-5.4 等 7 个
    摘要VEX-Bench 用筛查时的五维复杂度衡量虚假信息对核查容量的占用,并报告生成与核查的成本差。

    VEX-Bench 把 LLM 虚假信息的风险从“能否生成”改成“筛查时会占用多少核查容量”。

    深度解读完整解读
已经到底了