跳到正文
10月8日 · 周四

全部论文

找到 9 篇

另有 701 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv 2610.02142

    关键词式评测会误判小模型工具调用能力,论文提出廉价诊断阶梯

    提出诊断阶梯,揭示关键词工具调用评测的假阳性

    发表
    测试
    VectraYX-600M、VectraYX-1B
    摘要宽松 B4 把不会调用的 1B 记成会调用。

    作者记录 VectraYX 系列里一次工具使用评测的假阳性,并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior,再按这一诊断修复 VectraYX-1B。

    深度解读完整解读
  2. 研究系统比较六种越狱评测器的可靠性

    比较多种越狱评审器与人工标签的一致性

    发表
    测试
    Vicuna 13B、orcarouter/Qwen3.8-27B-Uncensored、Llama 2 13B 等 7 个
    摘要共享骨干下六种评审器与人标的一致程度不同,JADES 的 F1 最高。

    这项测量比较的是越狱成功怎样被自动判定,不提出新的攻击。。

    深度解读完整解读
  3. 论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

    诊断 BatchNorm 架构下机器遗忘评测的归一化伪影

    发表
    测试
    ResNet-18、ResNet-50、GroupNorm-ResNet-18 等 4 个
    摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘,但不改变权重里的编码器泄露。

    BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名:不改权重、只用 retain 数据重算运行统计,就可以把表面遗忘准确率翻过来。

    深度解读完整解读
  4. SEAV:面向大语言模型越狱评测的有效性验证框架

    提出 SEAV,逐步核验越狱回复的事实与操作有效性

    发表
    测试
    GLM-5、Gemini 3 Flash、Kimi K2.5
    摘要SEAV 用逐步检索和依赖检查重判越狱成功,SD-A 与三个基准上的原成功标签都有一批被改判。

    SEAV 是一层生成后的越狱评测:回复要相关、事实正确、顺序合规,并且在操作上足以推进有害意图,才算成功。。

    深度解读完整解读
  5. 评测与基准arXiv 2609.15315

    安全强化学习评测指标:SafeRLEval 开源评测套件

    提出 SafeRLEval,评测安全强化学习策略的越界与代价偏差

    发表
    测试
    PPO、PPO-Lag、P3O 等 4 个
    摘要SafeRLEval 用越界率、归一化偏差和安全等级补充 E[C]≤d,并要求同时看贪心部署。

    Spoor、Plaat 与 Moerland 认为,安全强化学习沿用 CMDP 的 E[C]≤d,只报告平均是否安全,看不出越界频率和幅度,也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval:越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+。用 IQM 跨任务和安全界聚合。

    深度解读完整解读
  6. 评测与基准arXiv 2609.33401

    论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

    评测 System One 模型对 Agent 安全输入的分类可靠性与校准

    发表
    测试
    Jev 1.13、Decider, approximately 2B、Bespoke Nimble, approximately 9B 等 14 个
    摘要离线评测表明,安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。

    Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠,以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。

    深度解读完整解读
已经到底了