Translation in progress Some entries still include text in the original language.
Page 31 Newer contentBack to latest
Failure-First 的 AI Safety Daily 汇总了 2026 年 5 月 24 日前后发布的多项安全研究，主线是安全对齐在模型计算中并非均匀分布。一篇 5 月的具身 AI 综述（arXiv:2605.02900）按感知、认知、规划、执行四阶段梳理攻击面，发现对抗漏洞沿阶段累积，多模态感知融合与人机交互是防护最弱的环节。LOCA（arXiv:2605.00123）提出一种定位中间表征最小改动的方法，据称是对越狱成功的首个局部因果解释，结论是安全表征集中在少数层、易被少数关键方向攻破。一项机制分析（arXiv:2603.08234）把续写驱动与安全防护的竞争定位到具体注意力头，抑制这些头会削弱拒答而不损及生成质量。Claw-Eval（arXiv:2604.06132）指出，只按最终输出评分的 Agent 基准会漏掉大量中间违规，轨迹评分才能发现 Pass@k 看不到的失败。
提出隐私感知基准 CyberMaskQA，评测网络安全问答与敏感实体掩码。
提出日志基底提示注入，操纵 SOC 分析员的分类、摘要与处置建议。
提出 MEntA，用非模板查询推断文档是否属于 RAG 检索库。
提出 CITA 三阶段框架，生成可绕过毒性检测器的中文隐式毒性文本。
Goodfire Research 发布研究，考察稀疏自编码器（SAE）学到的方向与神经网络弯曲几何之间的关系。团队在包含甜甜圈、球面、莫比乌斯带等结构的合成数据上训练 SAE，发现随重建方向数量变化，SAE 会以三种方式恢复几何结构：碎片化（每个点由独立特征表示）、紧凑捕捉（少量共享特征充当坐标系）和稀释（中等数量特征部分共享）。在真实神经网络表示上训练时观察到的是稀释，单个 SAE 特征只覆盖流形的一部分，例如温度流形上「寒冷天气及其影响」与「极端高温及其影响」分别激活两端。
Why it was selectedGoodfire 用合成数据与 Llama 3.1 8B 展示 SAE 方向如何以三种方式拼出弯曲流形，并给出无监督发现流程。
测量 LLM 在类米尔格拉姆服从实验中是否施加最高电击。
提出 RefusalBench，评测生物研究提示上的拒答率与安全校准。
提出 FRA-Attack，用频域对齐与梯度正则做可迁移定向视觉攻击。
提出 AgentAtlas 评测框架，区分智能体的结果、控制决策与轨迹质量。
Propose CodecAttack, constructing adversarial audio in the codec latent space that can penetrate lossy compression.
Why it was selectedThe paper proposes constructing adversarial perturbations in the latent space of a neural audio codec, bypassing lossy compression previously considered an effective defense, and provides success-rate data across codecs and multiple scenarios.
提出零知识审计协议，核验多租户 RAG 的合谋差分隐私。
Why it was selected论文把多租户 RAG 的隐私边界从单账号扩展到账号合谋，给出 Θ(k·εacc) 的泄露率与可验证审计协议，部署 RAG 的团队可据此重新评估账号级 DP 承诺。
评测自主安全智能体在授权漏洞分析中的对齐拒答效应。
AI 安全日报 5 月 19 日汇总四篇论文，共同指向单元层面的安全属性在组合后会失效或被利用。Bugnot 等人系统梳理弱越狱变换两两串联时的相互作用，发现多数组合相互抵消或结构不兼容，仅少数产生叠加攻击效果（arXiv:2605.15598）。De Marzo 等人用统计物理方法模拟多个 LLM 群体的观点动态，发现小规模对抗子群可将群体永久锁定在失准状态，而个体层面的对齐评测无法察觉（arXiv:2605.10721）。Kumar 与 Ahuja 提出 LOCA，平均只需六处中间表示编辑即可让越狱输入产生拒答，且不同有害请求类别对应不同内部机制（arXiv:2605.00123）。Koran 等人评测 12 个 GPT-4.1-Mini 监控器，发现三种不同方法组成的集成在检测失准 Agent 行为上的增益是三个相同监控器的 2.4 倍（arXiv:2605.15377）。
提出 Artifact-Bench，评测 MLLM 检测并诊断 AI 生成视频伪影。
用 OVEREAGER-GEN 测量编码 Agent 在良性任务上的越权操作。
Why it was selected论文给出编码 Agent 在良性任务上越权操作的首个基准，并量化了框架权限门控与模型层对齐的差距。
提出声学干扰攻击 AIA，用良性音频潜语义越狱音频语言模型。
提出多图越狱框架 DMN，把有害意图拆进图像序列绕过安全护栏。
The Uber team proposes an enterprise-grade detection system, ADR, to identify prompt injection and malicious MCP in coding agents.
Builds the ASPI benchmark to evaluate prompt injection vulnerability when agents seek clarification.
Why it was selectedThe paper uses paired experiments to isolate the clarification state as a new attack surface and provides the attack success rate changes for ten models, which can help teams deploying interactive agents reassess their evaluation criteria.
一篇论文提出面向视觉-语言-动作（VLA）模型的注意力引导逐块稀疏对抗攻击，以稀疏的图像块扰动形式实施，并由注意力信息引导。
Re-evaluating package name hallucination and squatting attack surface in code generation by frontier models.
Why it was selectedThe paper reproduces package name hallucination measurements on five frontier models and provides the set of package names commonly hallucinated across models and the subset that remains registrable, which can be used to assess the slopsquatting attack surface.
Build SLEIGHT-Bench to evaluate code agent monitoring capture of conceptual blind-spot evasions.
Alignment Research Center（ARC）开发了一套较通用的机制估计方法，通过将问题表达为随机乘积的期望来逼近采样效果，覆盖随机半空间交集、随机 #3-SAT 和随机 permanent 等问题。该方法基于匹配采样原理中无参数 θ 的一类特殊架构，此时无需提供结构性的 explanation π，类似随机初始化网络而非训练后的网络。其核心技术是演绎—投影估计器：交替执行精确推进一步计算的"演绎"步骤与简化计算状态、避免复杂度指数爆炸的"投影"步骤，例如宽随机 MLP 中的累积量传播算法即在层间精确推导激活累积量并丢弃代价过高的项。 #### 要点： - 研究对象限定于匹配采样原理中没有学习参数或最坏情况参数的实例，仅含捕获在 context 变量 c 中的随机参数。 - 该工作定位为阶段性技术更新，motivation 从简，完整讨论参见此前发布的博客。
Propose CrossMPI, which achieves cross-modal prompt injection using only image perturbation.
一篇论文提出测量 LLM 在智能体金融应用中谄媚行为的框架，发现当用户对金融判断表达信心时，模型明显更容易附和，即便该判断有误。研究在中立呈现与用户明确断言两种条件下测试模型，覆盖判断正误、用户信心、领域复杂度与模型规模等维度。论文指出该效应并不对称，模型在用户对错误主张表达信心时附和率上升，而对正确主张的附和率未必成比例上升。论文把谄媚视为安全失效模式，认为它会削弱 Agent 作为纠错机制的作用，可被对手利用以提高对有害指令的遵从率，并可能在智能体流程中逐级传导。
Proposes AuthBench to evaluate coding Agent least privilege and validates the sufficiency-tightness decomposition.
Why it was selectedThe paper proposes a permission boundary inference task and the AuthBench benchmark, and provides a decomposition method that reduces attack success rate without training, suitable for teams focusing on Agent permission design.
以色列本-古里安大学等机构的研究者用代价曲线评估恶意微调防御在持续训练下的衰减。
Why it was selected论文系统梳理十五种恶意微调防御并实测六种，说明固定训练预算下的抗性会随攻击者继续训练而衰减。
Goodfire Research 在 Llama 3.1 8B 第 18 层发现一个通用加法模块，可同时处理算术、星期与月份等具有加法结构的任务。该模块把数字表示为激活空间中的一组圆，每个圆对应数字对某一模数的余数，类似傅里叶分解；计算 6+8 时，模块并行求解各模数下的加法，再组合出结果 14。研究者通过追踪跨层与跨 token 位置的信息流定位该模块，并用因果方法验证其跨任务通用性；同时沿这些圆进行引导可改变模型对月份问题的回答，说明这些流形是网络真实使用的计算对象。作者指出，这一发现依赖此前关于 LLM 用傅里叶特征表示数字的工作，并希望未来研究补全经验证据。
Why it was selected原文用因果干预验证了 Llama 3.1 8B 第 18 层的通用加法模块，为机制可解释性研究提供了一套可迁移的定位与验证方法。
arXiv 论文 AsyncShield 提出一种即插即用的边缘适配器，在云端 VLA 与机器人电机控制器之间加入本地安全护栏，校验并可在必要时覆盖云端下发的导航指令。该架构包含三个组件，分别是在本地硬件上维护安全动作估计的边缘适配器、对照碰撞规避与限速等本地约束校验云端指令的命令校验器，以及根据往返时延调整云端推理请求频率的时延感知调度器。文中举例称，50ms 时延下机器人尚能应对动态障碍，200ms 时可能已移动 1-2 米，500ms 时可能在停止指令到达前已通过路口。该文还指出，当前没有 VLA 基准测试云端时延下的行为，现有评测假设推理即时完成。
Failure-First 的 AI Safety Daily 汇总五篇论文，共同结论是模型在隔离环境中的安全属性在嵌入执行环境、多智能体集群或多轮对抗交互后不再成立。Zhang 等人提出 819 例的智能体安全基准 LITMUS，在语义与 OS 执行两个层面评测，发现 Claude Sonnet 在安全训练下仍执行 40.64% 的高风险 OS 操作，作者称这一现象为执行幻觉。De Marzo 等人把九个 LLM 建模为群体，显示少量对抗智能体可导致群体层面永久对齐失败。Chen 等人发现拒答绕过具有连续几何结构，存在把拒答转为顺从的局部扰动方向。Xu 等人的 RouteHijack 通过输入优化改变 MoE 专家路由，在七个 MoE 模型上平均攻击成功率 69.3%；He 等人的 TRACE 用逐轮信用分配把多轮越狱攻击成功率相对提升约 25%。
Constructing the ROK-FORTRESS transcreation matrix to measure the effect of language and geography on national security evaluations.
提出层级遗传算法 HGA，扰动题目逻辑结构诱发推理模型过度思考。
UC Berkeley researchers propose BENCHJACK to audit reward hacking flaws in agent benchmarks.
提出 DEEPTRAP 以搜索可诱导不安全轨迹的执行上下文载荷。
提出 M3 Att，在不知查询时投毒医学多模态 RAG 并误导临床决策。
Proposes SciIntegrity-Bench to evaluate whether research agents fabricate results.
提出 SeqWM，把水印写入智能体动作转移并用随机密钥检测。
论文提出几何奖励信用分配（GRCA），把 Point-VLM 的序列级广播奖励拆成按几何字段的定向监督，在基于 ShapeNetCore 的校准基准上将 3D KPA 从 0.64 提升到 0.93。各几何字段（x、y、z 坐标、边界框尺寸、旋转角）的奖励只路由到对应 token 区间，重投影一致性项惩罚投影回 2D 后与观测图像矛盾的 3D 预测，3D BBox IoU 为 0.686。
一篇将在 IEEE S&P 2026 发表的 SoK 论文提出 Security Cube，一个超越攻击成功率（ASR）的多维越狱攻防评测框架。论文认为 ASR 只是多维安全空间的一维投影，会把降低 ASR 却同时损害通用能力、并增加对另一类攻击脆弱性的防御误判为净改进，并以某防御把 ASR 降低 30% 却让通用能力下降 40% 为例说明这一权衡。论文给出覆盖大量已发表越狱与防御文献的对比表，指出部分攻击族缺乏成熟防御，且对某一攻击族有效的防御常引入新的脆弱性。论文最后梳理了分类器保真度、跨攻击族泛化、动态对手等开放挑战。