跳到正文

#arXiv

今天还没有收录新动态

第25页更新的内容回到最新

8月28日周五
  1. Anthropic Alignment Science · 收录 · 原文 新闻48

    Anthropic 发布 TASTE 基准:评测模型判断 AI 安全研究提案的能力(原文,在新标签页打开)

    Anthropic 发布 TASTE(The AI Safety Taste Evaluation)基准,用 92 组配对比较衡量模型判断 AI 安全研究提案的能力,以与资深人类研究者偏好的一致率作为指标,估计人类一致率为 77%。基准构建分三步:用 Claude Opus 4.6 配合提示词脚手架生成研究提案,让 AI 安全研究者按总体、高层、方法三个维度打 1–5 分并报告置信度,再筛选高一致性的偏好对。研究者先独立打分,再两两讨论分歧并修改评分,配合只保留自报强置信度的标签,使估计一致率从讨论前的 53% 提升 15 个百分点至 68%;最终再要求总体分差至少 2 分,得到 92 组、77% 一致率的数据。在标准设置下表现最好的模型 Fable 5 仅 60%,低于人类研究者的 77%;Opus 5 与 GPT-5.6-Sol 接近随机水平,尽管它们在通用智能体基准上处于前沿。

    推荐理由Anthropic 公开了 TASTE 基准的构建流程与模型表现,做研究判断类评测的团队可参考其人类标签提纯方法。

8月27日周四
8月26日周三
8月25日周二
8月24日周一
  1. Import AI · 收录 · 原文 新闻15

    Import AI 470:METR 研究 AI 加速科学发现不均衡;SPADE 自动生成训练环境;Hawkeye 优化 GPU kernel(原文,在新标签页打开)

    METR 研究发现 AI 对科学发现的加速并不均衡:2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境与求解,在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3,较基线提升 8.1。

  2. Failure-First · 收录 · 原文 新闻25

    基于模型预测控制的思路实现安全强化学习(原文,在新标签页打开)

    Schäfer 等人提出将 MPC 用作离线安全预言机来预先计算可行状态-动作空间的安全强化学习框架,使机器人与赛博物理系统的探索保持在数学验证过的边界内。该方法通过网格搜索加二分搜索映射连续动作空间的凸区间,并用投影过滤器拦截不安全动作。作者在 Quanser Aero 2 单自由度俯仰平台上做了验证。 补充说明: - 该工作针对标准 RL 在高惯性硬件上的无约束探索风险,定义了不可逆的"临界点"——即可行集边界。 - 安全性判定依赖 MPC 优化器在未来预测视野内找到有效动作序列,且视野需超过系统停止距离以保证递归可行性。

8月23日周日
8月22日周六
8月21日周五
  1. Transformer Circuits · 收录 · 原文 新闻43

    Anthropic 在单层语言模型中刻画干扰权重(原文,在新标签页打开)

    Anthropic 可解释性团队训练了一个约 2.9M 参数的单层 Transformer,将其分解为 token、位置、transcoder 特征与 logits 之间的虚拟权重,并沿有效性和有益性两个轴为每个权重打分,首次在训练好的 Transformer 内部通过测量对训练损失的影响确认了干扰权重的存在。有效性用 Fisher 信息度量权重对输出分布的影响,有益性用消融后损失的平均变化度量。

    推荐理由Anthropic 可解释性团队在单层 Transformer 中首次用损失变化定位干扰权重,为直接读取权重电路提供了可复现的度量方法。

  2. Failure-First · 收录 · 原文 新闻29

    [每日论文] 字符串组合实现大量越狱(原文,在新标签页打开)

    该论文将 leetspeak、Base64、ROT 密码、ASCII 替换及 JSON/LaTeX 格式化包装统一为一个可逆字符串函数库,通过程序化组合与随机采样构造越狱攻击。方法是 best-of-n 随机搜索而非优化器:给定有害意图和预算 n,从变换库中随机抽取 n 个组合并编码发起攻击,任一成功即判定越狱成立,其评估取 n=25,由 HarmBench 分类器判定。实验还归纳出两条经验性顺序约束——二进制与 Base64 编码只能在词级变换之后应用,JSON、LaTeX 等风格包装应始终置于最后,否则内部变换会破坏语法。

  3. Failure-First · 收录 · 原文 新闻34

    《Jailbreak Paradox》论文证明越狱检测的两个结构性不可能定理并用泰米尔语黑盒实验佐证(原文,在新标签页打开)

    该论文从结构层面证明了两个关于越狱检测的不可能性结果:不存在完美分类器——若假设存在能免疫越狱的最强模型,构造其叠加完美分类器的复合体会更强从而矛盾;弱模型无法判定强模型的越狱输入,因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语,在不同语言能力层级的多个模型上做了实证检验。

8月20日周四
  1. Failure-First · 收录 · 原文 新闻28

    HoloCount:面向 MLLM 的整体视觉计数基准(原文,在新标签页打开)

    Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准,覆盖 1481 个独特视觉概念,并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显:宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%,Gemini-3.1-Pro-Preview 仅 49.0%(MAE 10.46)。空目标提示子集中还出现反向悖论,轻量模型优于大型专有引擎,反映其不愿输出计数为零的过度自信倾向。

8月19日周三
8月18日周二