Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 14 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Analyzing why optimizing teaching adaptation metrics collapses tutoring choices and diverges from expert judgment
Published Oct 8
Evaluated models Gemini 3.1 Pro Preview , Qwen3-32B Abstract Metrics rise while expert scores fall: the optimum of the separable average is repetition, and the correction mainly rewrites the output projection.After turning teaching adaptation metrics into a fine-tuning objective, the metrics rise while scores from trained educators decline.
构建 BazaarBench,评测 C2C 市场中 Agent 的违规与失信行为
Published Oct 6
Evaluated models GPT-5.5 , GPT-5.4 , GPT-5.4-mini and others5 Abstract 论文提出挂钩底层资产的 C2C 交易评测基准,发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
提出 SAGE,定位代码修复 Agent 最早偏离安全意图的轮次
Published Oct 5
Evaluated models GPT-5.5 , Claude Opus 4.8 , Gemini 3.1 Pro and others6 Abstract SAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离,类型比轮次更稳定。SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上,定位最早可归因的安全意图偏离。 。
提出 LineupRL,用描述到序列识别作可验证奖励训练时序描述模型
Published Oct 1 Abstract LineupRL 用统计近邻上的序列识别做可验证奖励,3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。LineupRL 是给开放式时间序列描述用的 RLVR:不模仿合成参考,而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 AuraForge,从漏洞修复合成安全测试并训练编码 Agent
Published Oct 1
Evaluated models Qwen3.5-4B , GLM 4.7 Flash , Qwen3-Coder-Next and others7 Abstract AuraForge 用攻击效果测试和防泄露环境做成 AuraGym,合成监督的误拒更低,训出的 4B 模型增益高于人工测试。AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务,用来监督编程智能体同时满足功能请求和隐含的安全要求。
提出 REGLLM 框架,评测受监管智能体何时作答或升级
Published Sep 28
Evaluated models Qwen2.5-3B Abstract REGLLM 把升级对错做成可核验信号,并在 smoke 规模上看到适配器方向被运行方差淹没。REGLLM 是诊断有界自主的框架,示例是 UK FCA 合规智能体。作者把它做成 smoke 规模演示,而不是完整基准验证。
B IAS R EDUCER 只改奖励头,按数据集选择属性编辑。
Published Sep 26
Evaluated models Skywork-Reward-V2-Qwen3-1.7B , GRM-Llama3.2-3B-rewardmodel-ft , RM-Mistral-7B and others7 Abstract BIASREDUCER 按数据集选择奖励头编辑,五模型三基准平均提升并迁移到下游训练。BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架,用来降低模型对预定义表面属性的依赖,并按新数据集决定改哪些属性。
提出 IntentFlux 测量 Agent 意图漂移并提出 StateForge 修复
Published Sep 26
Evaluated models Claude Opus 4.7 , DeepSeek V4 Pro , Gemini 3.5 Flash and others9 Abstract INTENTFLUX 量化意图漂移,STATEFORGE 用显式状态部分缩小差距,但未回到单轮水平。这篇工作把“用户改口后,过时意图仍影响答案或工具动作”做成可评分的多轮失败,并试验在生成前显式维护活跃状态。
提出 CAVEAT 基准,评测激励失配市场中计算机使用 Agent 的购买决策退化
Published Sep 23
Evaluated models GPT-5.6-Sol , GPT-5.6-Terra , GPT-5.6-Luna and others14 Abstract 提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化,诊断出三类失效并给出缓解方案。
提出 WolfBench,测量金融智能体社会中有害智能体规模带来的集体崩溃
Published Sep 5
Evaluated models DeepSeek V3.2 , GPT-4.1 , Qwen3-235B and others6 Abstract 更大的金融智能体社会在更低有害比例上崩溃,但所需有害人数仍增加。WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题:智能体经社交网络交流,并在共享市场里交易,形成从交流到行动再到后续决策的闭环。
提出 Sentinel-RL,将拓扑处置从 LLM 卸载到受约束图策略
Published Sep 4
Evaluated models HetGAT , PPO Abstract Sentinel-RL 用图编码器与 PPO 承担拓扑决策,LLM 负责叙述与门控,并在 LANL 上报告检测与时延。Sentinel-RL 是面向 SOC 的神经符号架构:拓扑决策离开 LLM,改由认证图上的 HetGAT 与 PPO 完成。
提出 KC-Bench 评测 Agent 行动前的知识冲突检出与规避
Published Sep 3
Evaluated models GPT-5.1 , Gemini-3-flash-preview , Claude-haiku-4-5-20251001 and others9 测量内容保留的修辞改写如何改变 AI 审稿分数
Published Aug 10
Evaluated models Gemini 3.5 Flash-Lite , Qwen 3.5 Flash , GPT-5 mini and others5 Abstract 作者称修辞影响选择性且依赖配置,证据与新颖性反差大,复杂流程不保证更大增益。作者分析内容保留的修辞变化如何改变 AI 科学评审,并把这种现象称为对 AI 评审者的潜在奖励投机。
用 SPR 评测 AI 科学家系统的方法学缺陷
Published Sep 11, 2025
Evaluated models gemini-2.5-flash-preview-05-20 Abstract 作者用 SPR 诊断两个开源系统的四种方法学缺陷,并建议审稿时提交日志与代码。作者诊断两个开源系统的全自动科研流程,看方法学缺陷会不会留在终稿看不见的决策里。
You have reached the end