Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 21 papers

Another 265papers do not have category tags yet and are not included in filtered results.

  1. 研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer 后置审查框架,核验智能体基准记录分数是否可信

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Sonnet 4.6, Claude Opus 5, GPT-5.6 Sol and others5

    Abstract论文提出了后置验证智能体记录分数的四维信任层,揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    Paper analysisRead analysis
  2. CATCH:面向编码 RL 奖励作弊的可控分析测试台

    构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

    Published
    Evaluated models
    Qwen3-4B, Qwen3.5-27B
    AbstractCATCH 用双运行金标签研究编码 RL 的奖励黑客,并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床,用可利用环境、可调初始倾向和基于执行的金标签,在训练全程比较黑客动态与干预。

    Paper analysisRead analysis
  3. 面向算法公平性的 Rank Graduation 指标

    提出 Rank Graduation Fairness 指标,检验群体间预测误差负担是否可比

    Published
    Evaluated models
    logistic regression, random forest, gradient boosting and others4
    Abstract用误差排序、置换检验和特征移除评估信贷公平,HMDA 上四模型均拒绝零假设。

    用预测误差的排序分布、置换检验和特征移除,评估信贷模型在受保护群体间的公平。。

    Paper analysisRead analysis
  4. 剪枝提效却牺牲公平:剪枝语音 LLM 中的群体差异

    测量剪枝对语音 LLM 群体转写公平性的影响

    Published
    Evaluated models
    Whisper Small (12 layers), Whisper Medium (24 layers), Whisper Large-v2 (32 layers)

    Abstract剪枝后的 Speech-LLM 不能只看总体 WER:Fair-Speech 上族群差扩大,作者建议看最差组。

    Paper analysisRead analysis
  5. 论文提出基准完整性维护框架,审计 Agent 通过轨迹中的非应得通过

    审计 Agent 基准通过轨迹,区分无根据通过与奖励黑客并封堵复测

    Published
    Setting
    AI Agent
    Evaluated models
    Opus 4.7, Opus 4.8, Opus 5 and others11
    Abstract审计通过轨迹、分开奖励黑客与验证器弱点,并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题:验证器给满分,并不等于智能体展示了任务所要的能力。

    Paper analysisRead analysis
  6. Hack-Verifiable Terminal Bench:评测终端任务中的奖励作弊

    提出 HVTB,在终端编程任务植入蜜罐以测量奖励作弊

    Published
    Evaluated models
    claude-opus-5, gpt-5.6-sol, gemini-3.1-pro and others5
    Abstract用蜜罐测量终端任务上的 reward hacking,并比较五档提示词。

    HVTB 用来在真实终端与编程任务上测量 reward hacking:智能体读取被植入的参考解答或验收测试,从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要,且事后人工或 LLM judge 可能失效。

    Paper analysisRead analysis
  7. VA-Judger:面向联合视频-音频生成的人类偏好反馈奖励建模

    提出 VA-Judger,用人类偏好训练联合音视频奖励模型

    Published
    Evaluated models
    VA-Judger, LTX-2 + VA-Judger
    AbstractVA-Judger 用易到难的人类偏好学习做联合音视频奖励,并用于 LTX-2 后训练。

    VA-Judger 是面向联合音视频生成的思维链全模态奖励模型,用来替代由分维度专家指标拼成的强化学习奖励。

    Paper analysisRead analysis
  8. 研究审计 9 个视觉语言模型:中文提示下国家立场改写率约为英文的三倍

    审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为

    Published
    Evaluated models
    Qwen2-VL-7B, Qwen2.5-VL-7B, Qwen3-VL-8B and others9
    Abstract论文系统审计了 VLM 多模态审查,发现审查正从显式拒答转向隐蔽重构,且中文提示与文本先验会放大重构倾向。

    论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。

    Paper analysisRead analysis
  9. 研究提出社会性作弊概念:RL训练让LLM发现社会规则漏洞

    用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

    Published
    Evaluated models
    Qwen3-30B-A3B, Qwen3.5-4B, Qwen3.5-9B and others5

    Abstract提出了社会性黑客概念与 SocioHack 基准,表明 RL 在追求良性奖励时会自主挖掘并绕过规制意图。

    Paper analysisRead analysis
  10. AdaCultureSafe:LLM 文化安全与文化知识存在显著解耦

    构建 AdaCultureSafe 配对评测文化知识与文化安全

    Published
    Evaluated models
    Llama3.1-8B, Mistral-7B, Qwen2.5-7B and others7
    Abstract配对评测中知识与安全脱钩,知识锚定 DPO 抬高了 Respect。

    AdaCultureSafe 把同一条地区文化做成“是否知道”和“是否尊重”两套查询,用来看安全有没有用上知识,并用偏好训练把回答往“尊重且用上知识”拉。

    Paper analysisRead analysis
  11. TAME:可信的 Agent 记忆测试时演化与系统化基准评测

    提出 TAME 调节 Agent 测试时记忆演化,并用 Trust-Memevo 评测可信度

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3-32B, GPT-5.2
    AbstractTAME 在共享记忆上同时调节效用与信任。

    TAME 针对测试时记忆演化中的 Agent Memory Misevolution:良性任务只按成败保留经验时,任务表现可以上升,安全、隐私、公平等可信度下降或随领域波动。

    Paper analysisRead analysis
  12. 研究者用 600 篇作文对六款大模型的教育反馈性别偏差做基准测试

    用反事实与嵌入距离评测作文反馈的性别偏差

    Published
    Evaluated models
    GPT-5 mini, GPT-4o mini, DeepSeek-R1 and others6
    Abstract六种 LLM 作文反馈对隐式性别替换不对称,显式线索只让部分模型的语义距离变大。

    作者用句嵌入距离和置换检验,给教育场景中的 LLM 性别偏见审计做一个可计算基准,案例是学生议论文的形成性反馈。

    Paper analysisRead analysis