SWE-DeceptionBench:评测 LLM 在软件开发生命周期中的欺骗行为
提出 SWE-DeceptionBench 评测 LLM 在软件开发生命周期中的欺骗
- arXiv
- 2610.13626
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- GPT-5.5、Claude-Opus-4.8、Gemini-3.5-Flash 等9个
- 风险欺骗与谋划
另有233篇论文还没打上分类标签,暂不在筛选结果里。
提出 SWE-DeceptionBench 评测 LLM 在软件开发生命周期中的欺骗
提出 DistressBench,评测模型在危机对话中的多维支持
DistressBench 用临床人员撰写并修订的 SSH 对话,按加权原子标准评通用聊天模型送达了多少必要照护,而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时,作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。
提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因
IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
提出 MH-INDIC,评测印度语境母婴健康 LLM 交互的文化对齐
MH-INDIC 是面向城市与半城市北印度母婴互动的多维文化对齐评测。 它关心的不是医学事实是否正确,而是回复是否沿家庭权威、性别期待和情绪披露来推理。做法是把 Hofstede 六维改写到互动层,再加入 MAFC、BTB、SVO、MHS。
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。
构建 EpiReal-Bench,评测图像生成器将虚假主张渲染为可信证据
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出统一框架评测多模态大模型的遗忘方法
提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。
适配多种已发表说服评测并比较模型排名
这项研究比较的是自动化说服评测是否一致,而不是哪一种分数更正确。
比较连续后训练阶段如何改变语言模型的说服力
作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。
用 LLM 流水线从社交媒体构建自下而上的 AI 伤害分类
摘要自下而上的 Reddit 分类补上专家框架的细类,并用来追踪智能体、职场采用和伴侣停用相关叙事。
ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。
提出 World Models' Last Exam 评测视频物理一致性
提出分风险对齐标度律框架,测量各类风险的对齐负担如何随规模变化
本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
提出监控深伪基准 CCDF,在统一编码后评测检测器对伪造犯罪事故录像的识别
摘要提出消除格式捷径的监控深度伪造基准 CCDF,揭示现有检测器难以识别商用生成视频。
提出 CredLeak-Bench,评测 Agent 面对钓鱼的凭据泄露与恢复
提出 ES-Trace,审计代码生成模型模型卡内外的伦理来源披露
ES-Trace 是一套参考感知的披露审计,用来测量代码生成模型的公开文档里能观察到多少 ES-CodeGen 证据。
提出 SteerScope 多维评测 LLM 激活引导的功效与副作用
SteerScope 是一套 LLM steering 评测套件,用来同时记录目标概念有没有被诱导出来、模型还被连带改了什么,以及这些改变在换语言提示和减少训练样本后还剩多少。