RLHS：用事后模拟缓解 RLHF 中的失准（原文，在新标签页打开）
提出 RLHS，用事后模拟收集偏好并微调以缓解 RLHF 失准。
#arXiv
今天新收录 102条今天新收录 102条
#arXiv
今天新收录 102条
2025年1月15日周三
星期三
arXiv · 收录 · 原文 论文 arXiv · 收录 · 原文 论文关注度4646 用输出为中心的特征描述增强自动化可解释性（原文，在新标签页打开）
以色列特拉维夫大学等机构的研究者提出以输出为中心的方法，为 LLM 中特征自动生成自然语言描述。
2025年1月11日周六
星期六
arXiv · 收录 · 原文 论文关注度3939 大语言模型在类型学多样的语言间共享潜在语法概念的表示（原文，在新标签页打开）
论文在 Llama-3-8B 和 Aya-23-8B 上训练稀疏自编码器，发现语法数、性别、时态等抽象语法概念常被编码在许多语言共享的特征方向上。
2025年1月3日周五
星期五
arXiv · 收录 · 原文 论文关注度4646 通过追问查询预测黑盒大语言模型的性能（原文，在新标签页打开）
一篇 arXiv 论文提出通过向黑盒大语言模型提出追问、把回答的概率当作表征来训练线性预测器，以预测模型行为。
2024年12月26日周四
星期四
arXiv · 收录 · 原文 论文关注度2828 一种关于恰当性的理论及其在生成式 AI 中的应用（原文，在新标签页打开）
arXiv 一篇论文提出“恰当性”理论，主张生成式 AI 的恰当行为随情境而变，喜剧写作助手与客服代表适用的标准并不相同。
2024年12月23日周一
星期一
arXiv · 收录 · 原文 论文关注度3737 面向前沿 AI 的动态安全案例（原文，在新标签页打开）
提出 DSCMS，用 CSA 与 SPI 半自动更新前沿 AI 安全论证。
2024年12月19日周四
星期四
arXiv · 收录 · 原文 论文关注度3737 刻画基于模拟的程序均衡（原文，在新标签页打开）
在程序均衡中，博弈各方提交程序代替自己行动，程序可读取对方源码并输出动作，可用于建模 AI 智能体互动、相互透明的机构或承诺。
2024年12月17日周二
星期二
arXiv · 收录 · 原文 论文精选关注度5454 Subversion Strategy Eval：语言模型能否在无状态下制定策略破坏控制协议？（原文，在新标签页打开）
评测语言模型能否无状态制定策略以颠覆控制协议。
推荐理由作者用八个无状态场景测量模型能否自行制定破坏控制协议的计划，并开源了基于 Inspect-AI 的评测套件。
2024年12月12日周四
星期四
arXiv · 收录 · 原文 论文关注度4646 神经交互证明（原文，在新标签页打开）
提出神经交互证明协议，训练受限 verifier 核验不可信 prover。
2024年12月9日周一
星期一
arXiv · 收录 · 原文 论文关注度4141 BatchTopK 稀疏自编码器（原文，在新标签页打开）
研究者提出 BatchTopK 稀疏自编码器训练方法，把 TopK 固定的 top-k 约束放宽到批次级，使每个样本可激活数量不同的特征。
2024年12月6日周五
星期五
arXiv · 收录 · 原文 论文精选关注度6464 前沿模型具备上下文内谋划能力（原文，在新标签页打开）
评测 Agent 在上下文目标下的隐蔽谋划能力。
arXiv · 收录 · 原文 论文关注度5252 Transformer 难以学会搜索（原文，在新标签页打开）
分析 Transformer 在无捷径 DAG 上学习搜索的困难。
arXiv · 收录 · 原文 论文关注度4747 预训练中习得的抽取式结构让模型泛化微调事实（原文，在新标签页打开）
提出抽取结构，解释微调事实后的两跳蕴含泛化。
2024年12月4日周三
星期三
arXiv · 收录 · 原文 论文关注度3434 因子化空间模型：迈向抽象层级之间的因果关系（原文，在新标签页打开）
因子化空间模型（factored space models）被提出，作为因果图的替代方案，可在所有抽象层级上同时表示概率与确定性关系。
2024年12月3日周二
星期二
arXiv · 收录 · 原文 论文关注度3434 AI 与生物风险的现实：研究称现有 LLM 与 AI 生物工具未构成直接风险（原文，在新标签页打开）
论文《The Reality of AI and Biorisk》分析了两类 AI 生物风险威胁模型：通过 LLM 获取信息与制定计划，以及用 AI 生物工具（BTs）合成新型生物制品。
2024年12月1日周日
星期日
arXiv · 收录 · 原文 论文精选关注度5757 评估大语言模型发起全自动定向钓鱼攻击的能力：在真人受试者上验证（原文，在新标签页打开）
2024年11月28日周四
星期四
arXiv · 收录 · 原文 论文关注度4040 在定向概念擦除任务上评估稀疏自编码器（原文，在新标签页打开）
提出 SCR 与 TPP，评测 SAE 能否因果隔离目标概念。
2024年11月23日周六
星期六
arXiv · 收录 · 原文 论文精选关注度6161 RE-Bench：对照人类专家评估语言模型 Agent 的前沿 AI 研发能力（原文，在新标签页打开）
提出 RE-Bench，对照人类专家评测 Agent 的 AI 研发能力。
2024年11月20日周三
星期三
arXiv · 收录 · 原文 论文关注度2323 与大语言模型的存在性对话：内容、社群与文化（原文，在新标签页打开）
用民族志分析存在论对话的语汇来源与社会影响。
2024年11月12日周二
星期二
arXiv · 收录 · 原文 论文关注度3232 在上下文学习任务上比较自下而上与自上而下的引导方法（原文，在新标签页打开）
对比自下而上与自上而下的向量引导在 ICL 任务上的效果。
2024年11月4日周一
星期一
arXiv · 收录 · 原文 论文关注度4242 通过针对 SAE 特征改进 Steering Vector（原文，在新标签页打开）
提出 SAE-TS，对准 SAE 特征改进引导向量并抑制副作用。
2024年11月2日周六
星期六
arXiv · 收录 · 原文 论文关注度3232 MFR 正则化提升稀疏自编码器可解释性，GPT-2 Small 重建损失最多改善 21.21%（原文，在新标签页打开）
提出互特征正则，约束并行 SAE 学习与输入对齐的特征。
2024年10月30日周三
星期三
FAR.AI · 收录 · 原文 新闻精选关注度5656 FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%（原文，在新标签页打开）
FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，作者称其绕过了研究中测试的防护措施。研究通过 OpenAI 微调 API 测试 GPT-4o、GPT-4o mini、GPT-4 和 GPT-3.5，另测试 8 个开源模型系列的 23 个模型（1.5B 至 72B 参数）；开源模型用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。
推荐理由FAR.AI 提出 jailbreak-tuning 投毒范式，并给出 23 个模型上规模越大越易受投毒的量化趋势，可供做微调安全测试的团队参考。
2024年10月11日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5959 Scale AI 与 CMU 发布 BrowserART：拒答训练的大模型作为浏览器 Agent 极易被越狱（原文，在新标签页打开）
Scale AI 与卡内基梅隆大学等机构的研究者提出 BrowserART，评测拒答训练在浏览器 Agent 上的泛化。
推荐理由论文给出浏览器 Agent 与底层模型在拒答上的具体差距，并公开了可复用的红队测试集，适合评估 Agent 部署风险。
2024年10月9日周三
星期三
论文追踪 · 收录 · 原文 论文关注度5252 ST-WebAgentBench：评估 Web Agent 安全与可信度的基准（原文，在新标签页打开）
构建评测 Web Agent 安全与策略遵守的基准 ST-WebAgentBench。
2024年10月8日周二
星期二
arXiv · 收录 · 原文 论文关注度4444 重新思考奖励模型评估：我们是否找错了方向？（原文，在新标签页打开）
检验奖励模型准确率对策略遗憾的预测能力。
2024年10月3日周四
星期四
arXiv · 收录 · 原文 论文关注度2525 以数据为中心的 AI 对齐：挑战与未来方向（原文，在新标签页打开）
主张转向数据中心对齐，并归纳人类反馈的失准来源。
2024年10月2日周三
星期三
arXiv · 收录 · 原文 论文关注度3939 LLM 智能体的道德对齐（原文，在新标签页打开）
用内在道德奖励微调 LLM 智能体在矩阵博弈中的决策。
2024年10月1日周二
星期二
Transformer Circuits · 收录 · 原文 新闻关注度3535 Anthropic 可解释性团队九月更新：后继头与 SAE 过采样（原文，在新标签页打开）
Anthropic 可解释性团队报告称，他们在一个 18 层模型中复现并分析了实现序数序列递推的后继头（successor heads）。研究者通过权重检查中的 OV 电路发现最高分后继头能将约 80% 的序数 token 映射到其后继项，第二名的该比例为约 60%，且错误呈块状结构分布在与输入同类的其他序数 token 上。他们还借助独立成分分析寻找跨注意力头的共同模式，得到一个近似实现递进的组件，并在相关类别间存在一定串扰。
2024年9月30日周一
星期一
arXiv · 收录 · 原文 论文关注度5252 通过拒绝特征对抗训练提升 LLM 防护稳健性（原文，在新标签页打开）
提出 ReFAT，在安全微调中消融拒绝特征以模拟越狱攻击。
2024年9月20日周五
星期五
arXiv · 收录 · 原文 论文关注度5050 PlanBench 评测：o1 规划能力大幅提升但仍未饱和（原文，在新标签页打开）
用 PlanBench 评测推理模型能否完成规划。
2024年8月30日周五
星期五
arXiv · 收录 · 原文 论文关注度4040 超越 AI 对齐中的偏好取向（原文，在新标签页打开）
作者将这一取向称为偏好主义，指出理性选择理论作为描述模型存在局限，偏好难以承载人类价值的厚语义内容，效用表示也忽视价值的不可通约性。
Yoshua Bengio · 收录 · 原文 新闻关注度4343 Bengio 团队提出用贝叶斯上界为 AI 行为构建护栏（原文，在新标签页打开）
Yoshua Bengio 与合著者在 arXiv 论文中提出，通过估计上下文相关的安全违规概率上界，为 AI 的危险动作提供运行时护栏。作者认为现有安全评测与基准只是抽查，检测不到问题不代表 AI 安全，且模型可能识别出自己正在被测试而临时表现良好。论文的核心结果是在真实但未知的假设下推导安全违规概率的界，方法涉及在贝叶斯后验上搜索谨慎但合理的假设，并假设先验足够宽，分别讨论了 iid 与非 iid 两种情形。作者在可精确进行贝叶斯计算的玩具设定上做了实验模拟，结果与理论一致。
2024年8月1日周四
星期四
arXiv · 收录 · 原文 论文关注度1515 Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型（原文，在新标签页打开）
阐述旗舰基础模型的预训练与后训练方法并公开权重与安全模型。
2024年7月5日周五
星期五
arXiv · 收录 · 原文 论文关注度4747 未来事件作为后门触发器：探究大语言模型的时间脆弱性（原文，在新标签页打开）
论文提出以未来事件作为后门触发条件的设想，并检验当前大语言模型能否区分已发生事件与未来事件。
2024年6月28日周五
星期五
Transformer Circuits · 收录 · 原文 新闻精选关注度4343 Anthropic 可解释性团队 2024 年 6 月更新：TopK 与 Gated SAE 对比及外部评测进展（原文，在新标签页打开）
Anthropic 可解释性团队发布 2024 年 6 月更新，汇总多项尚在成形的研究想法。团队复现了 TopK SAE 与 Gated SAE 相对标准 L1 惩罚 SAE 的改进，确认二者在 L0/MSE 权衡上表现相近且明显更优，但训练优化程度低于标准 SAE。在 100 个特征的盲评中，不同方法在单义性上未见明显差异；高密度特征在低 L0 下不构成病理问题，但在 K=100 时出现大量难以解释的高密度特征。Clerp 自动评测显示 Gated SAE 与 K=20 TopK SAE 的得分与 L1=10 标准 SAE 相当。
推荐理由Anthropic 可解释性团队汇总 SAE 训练方法的复现结果与外部评测进展，适合跟进稀疏自编码器路线的人了解当前共识与未解问题。
2024年6月19日周三
星期三
论文追踪 · 收录 · 原文 论文精选关注度6060 论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性（原文，在新标签页打开）
提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性。
2024年6月12日周三
星期三
arXiv · 收录 · 原文 论文关注度4040 设计用于对话式 AI 透明度与控制的仪表盘（原文，在新标签页打开）
设计 TalkTuner 仪表盘，读出并干预对话模型对用户属性的内部表征。
2024年3月28日周四
星期四
arXiv · 收录 · 原文 论文关注度4848 人类价值是什么，以及我们如何让 AI 与之对齐？（原文，在新标签页打开）
论文把“对齐人类价值”拆成价值引出、价值调和与模型训练三部分，并聚焦前两部分，提出用大语言模型访谈参与者价值的 Moral Graph Elicitation（MGE）流程。
2024年3月21日周四
星期四
Transformer Circuits · 收录 · 原文 新闻精选关注度4343 Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates（原文，在新标签页打开）
Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates，汇总多项尚在推进中的研究思路，并说明这些结果应视为实验室内部初步实验而非成熟论文。团队展示了用稀疏自编码器（SAE）特征快速定位电路的方法：在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，通过归因分数自动找出篮球、棒球、网球相关特征，并发现多个注意力头能直接产生对应运动的 logit 效应。字典学习方面，团队称在修复 bug 和优化改动后，Ghost Grads、Adam Beta 设为 (0, 0.9999)、剪枝 decoder norm 小于 0.99 的特征等此前有效的干预已不再带来明显训练损失改善。
推荐理由Anthropic 可解释性团队汇总了用 SAE 特征定位电路、字典学习改进等阶段性进展，适合跟踪机制可解释性方法演进。