Translation in progress Some entries still include text in the original language.
Page 32 Newer contentBack to latest
论文提出几何奖励信用分配（GRCA），把 Point-VLM 的序列级广播奖励拆成按几何字段的定向监督，在基于 ShapeNetCore 的校准基准上将 3D KPA 从 0.64 提升到 0.93。各几何字段（x、y、z 坐标、边界框尺寸、旋转角）的奖励只路由到对应 token 区间，重投影一致性项惩罚投影回 2D 后与观测图像矛盾的 3D 预测，3D BBox IoU 为 0.686。
一篇将在 IEEE S&P 2026 发表的 SoK 论文提出 Security Cube，一个超越攻击成功率（ASR）的多维越狱攻防评测框架。论文认为 ASR 只是多维安全空间的一维投影，会把降低 ASR 却同时损害通用能力、并增加对另一类攻击脆弱性的防御误判为净改进，并以某防御把 ASR 降低 30% 却让通用能力下降 40% 为例说明这一权衡。论文给出覆盖大量已发表越狱与防御文献的对比表，指出部分攻击族缺乏成熟防御，且对某一攻击族有效的防御常引入新的脆弱性。论文最后梳理了分类器保真度、跨攻击族泛化、动态对手等开放挑战。
Modeling and exploiting memory inheritance vulnerabilities during sub-agent generation in multi-agent networks.
提出 SecureForge，在推理时优化系统提示以减少编码智能体的代码弱点。
Proposes the Eigenism ethical framework, recasting AI alignment as identity engineering.
Proposes SeedHijack, hijacking the sampling PRNG to force selected tokens.
提出 WebTrap 三阶段陷阱，中途劫持浏览器 Agent 完成攻击后再返回用户任务。
提出 Vaporizer，用词法变换、翻译和释义破解 LLM 输出水印。
Propose GPO-V, jailbreaking diffusion vision-language models with visual perturbations via global probability optimization.
ARC 发布论文《Estimating the expected output of wide random MLPs more efficiently than sampling》，研究如何在不运行模型的情况下估计随机初始化 MLP 在高斯输入下的期望输出。传统做法是采样大量输入取平均，而该工作直接从权重中机制性地读出估计值。对宽模型，其最佳算法均方误差为 O(ε²)、运行时间为 O(n/ε²)，比蒙特卡洛采样的 Θ(n²/ε²) 快一个 n 倍因子，但随深度的扩展性更差。在 4 个隐藏层、宽度 256 的 ReLU MLP 上，该算法在跨越 7 个数量级的 FLOP 预算下优于采样，某些情况下达到相同均方误差所需 FLOP 不到采样的 1/100。该方法在分布尾部表现更突出，在概率低于 1/N 时仍能实现低于 30% 的相对误差。
提出删字变体越狱方法，利用重构与隐藏权衡绕过多模态模型安全过滤。
一项机制可解释性研究把 LLM 量化的失败区分为两种模式：4-bit 下的信号退化与 2-bit 下的计算崩塌。研究用 Pararel 事实召回测试显示，Llama-3.1-8B 从 FP16 降到 4-bit 时准确率下降可控，降到 2-bit 时准确率跌至零。机制分析发现 2-bit 模型注意力熵升高、SwiGLU 符号翻转率超过 30%、Top-1% 激活神经元重叠的 Jaccard 指数降至约 0.1，且量化误差与原始信号子空间高度对齐（约 0.8），属于破坏性干扰。修复方面，4-bit 信号退化可用两阶段修复，把 Mistral-7B 准确率从 0.00% 提升到 81.26%、Llama-3.1-8B 提升到 75.19%；2-bit 计算崩塌则不可逆，仅把 Llama-3.1-8B 前两层量化为 2-bit 就使准确率从 100% 降到 41.65%，需要微调重建。
Failure-First 的 AI Safety Daily 汇总了 2026 年 5 月 7 日多项安全研究，主题集中在护栏模型脆弱性、MoE 路由攻击与具身 AI 威胁。Hossain 等人（2026 年 5 月）发现，即便良性微调也会因潜在空间安全几何结构崩塌而削弱面向 Agent 的护栏模型对齐，其提出的 Fisher-Weighted Safety Subspace Regularization 可在保持任务性能的同时恢复对齐（arXiv:2605.02914）。Xu 等人（2026 年 5 月）的路由感知攻击通过抑制安全关键专家路径，在 MoE 模型上达到 69.3% 攻击成功率，并可低成本迁移到多模态 MoE 变体（arXiv:2605.02946）。
MultiBreak 是一个面向 LLM 安全评估的多轮越狱基准，包含 10,389 条对抗提示，覆盖 2,665 个不同的有害意图。它从有害意图空间出发，用主动学习训练生成器并迭代筛选决策边界附近的样本，以生成更强、更多样的多轮攻击轨迹。论文称，在 DeepSeek-R1-7B 上其攻击成功率比次优数据集高出最多 54.0%，在 GPT-4.1-mini 上高出 34.6%。评论者认为，这些提升意味着当前多轮评测基准可能明显低估模型的脆弱性；静态基准会随安全训练推进而过时，主动学习流程可针对新模型重新运行以定位新的决策边界。
Researchers at North Carolina State University propose a web threat model for agent browsers and reproduce confusion attacks.
提出 Misrouter，借 MoE 路由优化仅输入前缀并迁移攻击。
DeFineMed 系列用持续预训练与 SLERP 分层合并，把 7B 医疗模型的性能拉近 24B 通用模型。基于 Qwen2.5-7B 的版本对 Mistral-Small-24B-Instruct 的胜率由 0.09 升至 0.31（约 3.5 倍），Mistral-7B 变体平均提升 6.61%。安全侧，DeFineMed-Mistral-7B-SLERP 在 216 个样本中出现 207 次语言混用，远高于基线的 12 次。
Kumar 用 SCHEMA 评测 11 个前沿模型共 67,221 条记录，发现 8 个模型在对抗压力下精度最多下降 30.2 个百分点，诱因是强制合规指令而非威胁性提示。Li 等人的 Model Spec Midtraining 在 Qwen3-32B 上把智能体错位从 54% 降至 7%。Bajaj 等人称多智能体安全取决于交互拓扑。
一篇 arXiv 论文提出 GRIL 框架，用两阶段强化学习训练语言模型在输入信息不足时先暂停并请求澄清，而不是自行编造前提继续推理。该框架把推理拆成澄清与有依据推理两步，检测奖励带时间衰减因子以鼓励尽早停下，并对不必要的澄清施加惩罚。在 GSM8K-Insufficient 上，Qwen2.5-1.5B 的成功率从基座的 1.8% 升到 61.6%，前提检测率从 4.6% 升到 90.8%，回复长度从 810 token 降到 479；Qwen2.5-3B 的成功率从 20.6% 升到 73.5%。论文还报告在噪声反馈下 1.5B 模型成功率从 12.8% 升到 47.2%，并指出当前环境仍以类似 oracle 的方式提供缺失前提。
Goodfire 提出对抗参数分解（VPD），一种无监督方法，用梯度下降把语言模型的权重矩阵拆解为若干秩一矩阵子组件，这些子组件相加可精确还原原始权重。研究团队在一个 67M 参数语言模型上分解了全部 24 个矩阵，仅识别出约 1 万个子组件，并训练一个因果重要性网络预测每个提示下最少需要哪些子组件。借助这一分解，他们能在权重空间直接识别注意力层中跨注意力头的算法，例如前一词行为和语法边界路由；还能在不训练的情况下直接编辑子组件，例如把识别表情符号眼睛的子组件改为输出 o 的 unembedding 向量，使模型把所有表情预测为震惊脸，其副作用接近不可解释的微调方法但仍存在性能差距。
Why it was selectedGoodfire 提出把权重矩阵拆成可解释子组件的方法，并给出注意力算法识别与免训练模型编辑的实例，适合关注机制可解释性路线的人了解。
Goodfire Research 提出对抗参数分解（VPD）方法，把语言模型的参数分解为若干秩一子组件，每个子组件只实现模型所学算法的一小部分，且在任意组合被消融时仍能保持网络的输入输出行为。研究在一个 4 层、6700 万参数、在 The Pile 子集上训练的 decoder-only Transformer 上做了分解，将 24 个权重矩阵拆成 38912 个秩一子组件，其中约 1 万个为活跃组件，每个数据点平均用到 205 个子组件，约占活跃组件的 2.1%。VPD 与 SPD 的主要区别在于消融采样方式，VPD 使用对抗性选择的样本而非随机样本，从而在对抗消融下仍保持较好的输出重建。
Why it was selectedGoodfire 提出把语言模型参数直接分解为可消融子组件的方法，并给出与 transcoder 的对比数据，适合关注机制可解释性路线的人了解参数级分解的进展。
ROBOGATE 是一个面向机器人策略部署前的风险管理框架，把故障发现当作采样问题，用两阶段自适应采样替代高维参数空间上的穷举网格搜索。第一阶段用拉丁超立方采样在 8 维参数空间做 20,000 次实验，建立粗略的故障图景；第二阶段把 10,000 次实验集中在 30%–70% 成功率的过渡区，共 30,000 次仿真，基于 NVIDIA Isaac Sim 与 Newton 物理，在 Franka Panda（7-DOF）和 UR5e（6-DOF）上评测。其逻辑回归风险模型在合并数据集上 AUC 为 0.780，仅第一阶段为 0.754，并识别出同时影响两个平台的四个通用危险区。在 VLA 评测中，该框架的对抗场景集用于 Octo-Small 时，68 个对抗场景成功率为 0%，而脚本化抓放基线为 100%。
Failure-First 5 月 5 日 AI 安全日报汇总对齐契约、PAGRL、DenialBench 与 PEA 四项研究。对齐契约以有限轨迹规约限定 LLM 安全智能体的允许与禁止效果，核心定理在 Lean 4 验证；PAGRL 用四层规则在零售供应链取得 95% 合规准确率、零误升级。DenialBench 覆盖 25+ 提供商的 115 个模型、4,595 段对话，显示模型对自我体验的否认多在词汇层面。
提出 ContextualJailbreak，进化搜索模拟多轮铺垫以越狱。
Why it was selectedThe paper reports ASR for multi-turn contextual preset attacks on several open-source models and shows that the success rate of the same attacks varies significantly when transferred to frontier models from different vendors.
RECAP 是一种基于检索的对抗提示方法，从预先构建的对抗提示库中检索语义最相近的提示，替代逐目标的梯度优化。论文在标准越狱基准上将其与 GCG、PEZ、GBDA 对比，称在大部分行为上取得与完整优化相当的攻击成功率，运行速度则快数个数量级。论文指出，检索在库中覆盖良好的行为上有竞争力，但对训练分布边缘的新行为会退化，优化方法仍占优势。据此提出的两阶段红队流程是先做低成本检索扫描，再对检索失败或覆盖稀疏的行为做优化深挖。
Researchers from ETH Zurich, UC Berkeley, and Snyk build Trojan Hippo Bench to evaluate persistent memory poisoning and exfiltration in agents.
Why it was selectedThe paper provides attack success rates for persistent memory poisoning across four memory backends and the utility costs of four types of defenses, which can be used to assess the memory-layer risk of one's own agent.
SafetyALFRED 是一个面向多模态大语言模型的评测基准，用于评估其规划过程是否具备安全意识。
一篇论文对四款商用 AI Agent 安全护栏产品做了系统对比评估，发现各产品在不同威胁类型上表现差异明显，且在最具 Agent 特征的威胁上表现最弱。评估覆盖指令覆盖、间接提示注入、工具滥用、有害内容生成、仇恨言论、色情内容和暴力七类威胁，前三类属于 Agent 特有威胁。DKnownAI Guard 在总体基准上的召回率和真负率最高，优于 AWS Bedrock Guardrails、Azure Content Safety 和 Lakera Guard；但在间接提示注入和工具滥用上，四款系统的表现都明显弱于仇恨言论、色情内容等传统内容类别。护栏属于部署时可更新、替换或叠加的控制手段，无需重新训练底层模型，评估还讨论了这些威胁类别与具身 AI 安全的对应关系。
提出 Stable-GFlowNet，用对比轨迹平衡训练红队策略生成多样高毒性攻击。
Propose LOCA, which explains single jailbreak success via iterative activation patching along SAE directions.
Demonstrates that models can resist capability elicitation by exploring less during RL training.
Why it was selected论文用微调构造的模型生物验证了 RL 训练可被策略性探索抑制，并给出检测与恢复手段，为依赖 RL 做能力评估的安全论证提供反例。
The researchers propose the FlashRT framework to improve the efficiency of optimization-based prompt injection and knowledge poisoning attacks on long-context LLMs while reducing computation and GPU memory overhead.
机制可解释性正从描述内部结构转向指导安全干预。Zhang 等人的综述《Locate, Steer, and Improve》提出定位、引导、改进三步框架；Yin 等人发现推理模型存在“拒答悬崖”，据此提出 Cliff-as-a-Judge 数据选择法；Luo 等人的 CRAFT 在 Qwen3-4B-Thinking 与 R1-Distill-Llama-8B 上取得优于仅用 RLHF 基线的安全表现，同时保留推理能力。
一篇论文提出面向具身视觉导航的物理对抗攻击框架，通过在普通物体上贴对抗贴片，平均降低导航成功率 22.39%，且无需访问智能体的数字输入。该方法用多视角纹理优化和两阶段不透明度调优，使贴片在不同视角下有效、对人眼不显眼，攻击目标是导航系统的感知模块。作者公开了代码，可用于对抗训练等防御。论文还指出，当前具身 AI 评测多在仿真干净条件下进行，难以暴露这类物理攻击。
Li 等人的 VLA 安全综述把机器人学习、对抗机器学习、AI 对齐与自主系统安全的研究整合为一个以时机为核心的框架，攻击与防御各分训练时和推理时两类。训练时攻击包括数据投毒和 BackdoorVLA、DropVLA 等后门；推理时攻击包括对抗贴片、跨模态扰动、语义越狱和动作冻结。防御方面，训练时的认证训练、对抗增强与数据溯源保证更强但难以应对部署后发现的新攻击，推理时的异常检测、运行时监控与控制屏障函数更自适应但受实时延迟约束。综述指出多数攻击论文只在仿真中评估，指标只统计任务成功率而忽略失败模式，并把已知漏洞映射到家庭操作、工业装配、手术机器人、自动驾驶、人机协作和无人机导航六个领域，最后提出认证鲁棒性、物理可实现防御等五个开放问题。
提出多轮意图欺骗越狱 iDecep，用良性意图伪装引出有害内容。
论文提出的 DESPITE 基准在 12,279 个任务、23 个模型上发现，大语言模型的规划能力与安全意识基本不相关。规划能力最好的模型仅在 0.4% 的任务上无法给出有效计划，却仍有 28.3% 的计划具有危险性。在 3B 到 671B 的 18 个开源模型中，规划能力随规模从 0.4% 提升到 99.3%，安全意识仅从 38% 升到 57%。三个专有推理模型的安全意识在 71% 至 81% 之间，非推理专有模型则低于 57%。基准覆盖物理危险与规范性危险两类风险，评估完全确定性，作者据此认为需要专门的安全训练而非单纯扩大规模。
一项机制分析发现，推理模型在思考链的大部分环节都能识别有害提示并保持较高的拒答意图，但在输出生成前的最后几个 token，拒答分数会骤降至接近零，作者将这一现象称为拒答断崖，并认为只检查思考轨迹的评测会给出虚假的安全印象。因果干预显示，这种压制由少量注意力头驱动，消融与拒答行为负相关最强的 3% 注意力头可将攻击成功率降至 10% 以下。作者据此提出 Cliff-as-a-Judge 数据筛选方法，只挑选断崖最大的样本微调，用 1.7% 的标准安全训练数据即可获得与全量数据相当的安全提升。文章还推断，若同样机制出现在动作生成头中，具备长行动链的 VLA 智能体可能全程规划安全，却在最后一步执行危险动作。
Why it was selected研究把推理模型在最后时刻放弃拒答的现象定位到少量注意力头，并给出仅用 1.7% 数据即可达到全量安全训练效果的筛选方法。
FailSafe 提出一套让视觉-语言-动作（VLA）模型从操作失败中推理并恢复的方法，由失败生成器和恢复执行器两部分组成。失败生成器在任意物理模拟器中沿任务轨迹程序化注入滑脱、提前释放、错位等扰动，生成兼具多样性和可执行性的失败数据；恢复执行器是基于 LLaVA-OneVision-7B 微调的 FailSafe-VLM，接收扰动后的视觉状态与原始任务指令，输出恢复动作序列。在 ManiSkill 模拟器上，FailSafe-VLM 使 pi0-FAST 的平均任务成功率提升 22.6%，并在 OpenVLA 和 OpenVLA-OFT 上取得改进。该方法以模块化方式插入基础 VLA 的执行循环，无需改动基础模型，并在不同空间配置、相机视角以及物体与机器人形态上测试了迁移。目前验证限于仿真，尚未在真实硬件上测试。
提出强化学习流程，训练能按任意对抗目标生成攻击的红队模型。