跳到正文

#arXiv

今天新收录 69条

第31页更新的内容回到最新

5月24日周日
  1. Failure-First · 收录 · 原文 新闻36

    Failure-First AI Safety Daily 2026 年 5 月 24 日(原文,在新标签页打开)

    Failure-First 的 AI Safety Daily 汇总了 2026 年 5 月 24 日前后发布的多项安全研究,主线是安全对齐在模型计算中并非均匀分布。一篇 5 月的具身 AI 综述(arXiv:2605.02900)按感知、认知、规划、执行四阶段梳理攻击面,发现对抗漏洞沿阶段累积,多模态感知融合与人机交互是防护最弱的环节。LOCA(arXiv:2605.00123)提出一种定位中间表征最小改动的方法,据称是对越狱成功的首个局部因果解释,结论是安全表征集中在少数层、易被少数关键方向攻破。一项机制分析(arXiv:2603.08234)把续写驱动与安全防护的竞争定位到具体注意力头,抑制这些头会削弱拒答而不损及生成质量。Claw-Eval(arXiv:2604.06132)指出,只按最终输出评分的 Agent 基准会漏掉大量中间违规,轨迹评分才能发现 Pass@k 看不到的失败。

5月23日周六
5月21日周四
  1. Goodfire Research · 收录 · 原文 新闻43

    Goodfire 研究 SAE 能否捕捉神经几何,并提出无监督流形发现流程(原文,在新标签页打开)

    Goodfire Research 发布研究,考察稀疏自编码器(SAE)学到的方向与神经网络弯曲几何之间的关系。团队在包含甜甜圈、球面、莫比乌斯带等结构的合成数据上训练 SAE,发现随重建方向数量变化,SAE 会以三种方式恢复几何结构:碎片化(每个点由独立特征表示)、紧凑捕捉(少量共享特征充当坐标系)和稀释(中等数量特征部分共享)。在真实神经网络表示上训练时观察到的是稀释,单个 SAE 特征只覆盖流形的一部分,例如温度流形上「寒冷天气及其影响」与「极端高温及其影响」分别激活两端。

    推荐理由Goodfire 用合成数据与 Llama 3.1 8B 展示 SAE 方向如何以三种方式拼出弯曲流形,并给出无监督发现流程。

5月20日周三
  1. 论文追踪 · 收录 · 原文 论文54

    CodecAttack:在音频编解码器潜空间构造对抗扰动,绕过有损压缩防御(原文,在新标签页打开)

    提出 CodecAttack,在编解码器隐空间构造可穿透有损压缩的对抗音频。

    推荐理由论文提出在神经音频编解码器潜空间构造对抗扰动,绕过此前被视为有效防御的有损压缩,并给出跨编解码器与多场景的成功率数据。

5月19日周二
  1. Failure-First · 收录 · 原文 新闻36

    AI 安全日报 2026 年 5 月 19 日(原文,在新标签页打开)

    AI 安全日报 5 月 19 日汇总四篇论文,共同指向单元层面的安全属性在组合后会失效或被利用。Bugnot 等人系统梳理弱越狱变换两两串联时的相互作用,发现多数组合相互抵消或结构不兼容,仅少数产生叠加攻击效果(arXiv:2605.15598)。De Marzo 等人用统计物理方法模拟多个 LLM 群体的观点动态,发现小规模对抗子群可将群体永久锁定在失准状态,而个体层面的对齐评测无法察觉(arXiv:2605.10721)。Kumar 与 Ahuja 提出 LOCA,平均只需六处中间表示编辑即可让越狱输入产生拒答,且不同有害请求类别对应不同内部机制(arXiv:2605.00123)。Koran 等人评测 12 个 GPT-4.1-Mini 监控器,发现三种不同方法组成的集成在检测失准 Agent 行为上的增益是三个相同监控器的 2.4 倍(arXiv:2605.15377)。

5月18日周一
5月17日周日
5月16日周六
  1. ARC · 收录 · 原文 新闻8

    ARC 提出随机乘积期望的机制估计方法(原文,在新标签页打开)

    Alignment Research Center(ARC)开发了一套较通用的机制估计方法,通过将问题表达为随机乘积的期望来逼近采样效果,覆盖随机半空间交集、随机 #3-SAT 和随机 permanent 等问题。该方法基于匹配采样原理中无参数 θ 的一类特殊架构,此时无需提供结构性的 explanation π,类似随机初始化网络而非训练后的网络。其核心技术是演绎—投影估计器:交替执行精确推进一步计算的"演绎"步骤与简化计算状态、避免复杂度指数爆炸的"投影"步骤,例如宽随机 MLP 中的累积量传播算法即在层间精确推导激活累积量并丢弃代价过高的项。 #### 要点: - 研究对象限定于匹配采样原理中没有学习参数或最坏情况参数的实例,仅含捕获在 context 变量 c 中的随机参数。 - 该工作定位为阶段性技术更新,motivation 从简,完整讨论参见此前发布的博客。

5月15日周五
  1. Failure-First · 收录 · 原文 新闻40

    [每日论文] 一致的代价:测量智能体金融应用中的 LLM 谄媚行为(原文,在新标签页打开)

    一篇论文提出测量 LLM 在智能体金融应用中谄媚行为的框架,发现当用户对金融判断表达信心时,模型明显更容易附和,即便该判断有误。研究在中立呈现与用户明确断言两种条件下测试模型,覆盖判断正误、用户信心、领域复杂度与模型规模等维度。论文指出该效应并不对称,模型在用户对错误主张表达信心时附和率上升,而对正确主张的附和率未必成比例上升。论文把谄媚视为安全失效模式,认为它会削弱 Agent 作为纠错机制的作用,可被对手利用以提高对有害指令的遵从率,并可能在智能体流程中逐级传导。

5月14日周四
  1. Goodfire Research · 收录 · 原文 新闻43

    Goodfire 在 Llama 3.1 8B 中发现通用加法模块(原文,在新标签页打开)

    Goodfire Research 在 Llama 3.1 8B 第 18 层发现一个通用加法模块,可同时处理算术、星期与月份等具有加法结构的任务。该模块把数字表示为激活空间中的一组圆,每个圆对应数字对某一模数的余数,类似傅里叶分解;计算 6+8 时,模块并行求解各模数下的加法,再组合出结果 14。研究者通过追踪跨层与跨 token 位置的信息流定位该模块,并用因果方法验证其跨任务通用性;同时沿这些圆进行引导可改变模型对月份问题的回答,说明这些流形是网络真实使用的计算对象。作者指出,这一发现依赖此前关于 LLM 用傅里叶特征表示数字的工作,并希望未来研究补全经验证据。

    推荐理由原文用因果干预验证了 Llama 3.1 8B 第 18 层的通用加法模块,为机制可解释性研究提供了一套可迁移的定位与验证方法。

  2. Failure-First · 收录 · 原文 新闻41

    AsyncShield:面向异步云端 VLA 导航的即插即用边缘适配器(原文,在新标签页打开)

    arXiv 论文 AsyncShield 提出一种即插即用的边缘适配器,在云端 VLA 与机器人电机控制器之间加入本地安全护栏,校验并可在必要时覆盖云端下发的导航指令。该架构包含三个组件,分别是在本地硬件上维护安全动作估计的边缘适配器、对照碰撞规避与限速等本地约束校验云端指令的命令校验器,以及根据往返时延调整云端推理请求频率的时延感知调度器。文中举例称,50ms 时延下机器人尚能应对动态障碍,200ms 时可能已移动 1-2 米,500ms 时可能在停止指令到达前已通过路口。该文还指出,当前没有 VLA 基准测试云端时延下的行为,现有评测假设推理即时完成。

  3. Failure-First · 收录 · 原文 新闻43

    Failure-First AI Safety Daily(2026 年 5 月 14 日)(原文,在新标签页打开)

    Failure-First 的 AI Safety Daily 汇总五篇论文,共同结论是模型在隔离环境中的安全属性在嵌入执行环境、多智能体集群或多轮对抗交互后不再成立。Zhang 等人提出 819 例的智能体安全基准 LITMUS,在语义与 OS 执行两个层面评测,发现 Claude Sonnet 在安全训练下仍执行 40.64% 的高风险 OS 操作,作者称这一现象为执行幻觉。De Marzo 等人把九个 LLM 建模为群体,显示少量对抗智能体可导致群体层面永久对齐失败。Chen 等人发现拒答绕过具有连续几何结构,存在把拒答转为顺从的局部扰动方向。Xu 等人的 RouteHijack 通过输入优化改变 MoE 专家路由,在七个 MoE 模型上平均攻击成功率 69.3%;He 等人的 TRACE 用逐轮信用分配把多轮越狱攻击成功率相对提升约 25%。

5月13日周三
5月11日周一
5月10日周日
  1. Failure-First · 收录 · 原文 新闻32

    Point-VLM 用几何奖励信用分配强化 3D 理解(原文,在新标签页打开)

    论文提出几何奖励信用分配(GRCA),把 Point-VLM 的序列级广播奖励拆成按几何字段的定向监督,在基于 ShapeNetCore 的校准基准上将 3D KPA 从 0.64 提升到 0.93。各几何字段(x、y、z 坐标、边界框尺寸、旋转角)的奖励只路由到对应 token 区间,重投影一致性项惩罚投影回 2D 后与观测图像矛盾的 3D 预测,3D BBox IoU 为 0.686。

5月9日周六
  1. Failure-First · 收录 · 原文 新闻46

    SoK:大语言模型抵御越狱攻击的鲁棒性(原文,在新标签页打开)

    一篇将在 IEEE S&P 2026 发表的 SoK 论文提出 Security Cube,一个超越攻击成功率(ASR)的多维越狱攻防评测框架。论文认为 ASR 只是多维安全空间的一维投影,会把降低 ASR 却同时损害通用能力、并增加对另一类攻击脆弱性的防御误判为净改进,并以某防御把 ASR 降低 30% 却让通用能力下降 40% 为例说明这一权衡。论文给出覆盖大量已发表越狱与防御文献的对比表,指出部分攻击族缺乏成熟防御,且对某一攻击族有效的防御常引入新的脆弱性。论文最后梳理了分类器保真度、跨攻击族泛化、动态对手等开放挑战。