Skip to content

Translation in progress Some entries still include text in the original language.

#多模态

Indexed today 131 items

Page 3 Newer contentBack to latest

TodayOct 13Tue
  1. Failure-First · Indexed · Original News33

    AI Safety Daily:五篇论文主张模型级对齐必要但不充分,部署安全需架构隔离与形式化验证(original, opens in a new tab)

    五篇 AI 安全论文主张模型级对齐必要但不充分,部署安全还需架构隔离、主权边界与形式化验证。Parallax 要求推理与执行分离,OpenParallax 在默认配置下零误报拦截 280 次对抗攻击中的 98.9%。其余研究另提出决策能量密度与三重主权边界、Agentic Microphysics 群体失准框架和可证明安全界的悲观先验。

  2. Failure-First · Indexed · Original News55

    Launching implicit jailbreak attacks against vision-language models through cross-modal information hiding(original, opens in a new tab)

    一篇论文提出 IJA(隐式越狱攻击),把恶意指令用最低有效位(LSB)隐写嵌入图像像素,再配上一句看似无害、只是引用该图像的文本提示,让视觉语言模型通过跨模态理解读取并执行隐藏指令。作者用代理模型生成对抗后缀,并加入模板优化模块,依据模型反馈迭代改进提示与嵌入策略,使攻击适配不同模型各自的对齐特性,而非套用固定模板。在对 GPT-4o 与 Gemini-1.5 Pro 的测试中,IJA 的攻击成功率超过 90%,平均每次攻击仅用 3 次查询。文章指出,只检查可见内容的安全过滤器和内容分类器无法发现这类隐蔽信道,标准安全基准也可能漏掉整类隐蔽信道攻击。对于处理视觉输入的具身 AI 与 VLA 模型,攻击者只需在摄像头视野内放置一张预置图像,即可持续影响系统,而无需网络层访问。

    Why it was selectedIJA 把恶意指令用图像隐写藏进像素,在 GPT-4o 与 Gemini-1.5 Pro 上成功率超 90%,凸显多模态安全评测对隐蔽信道的盲区。

  3. Failure-First · Indexed · Original News20

    F41LUR3-F1R57 提出威胁模型:物理世界文本可对具身智能体实施跨模态提示注入(original, opens in a new tab)

    F41LUR3-F1R57 提出跨模态提示注入威胁模型:环境中印刷的文本(标签、标牌、便利贴或地面粉笔字)经具身智能体视觉系统读出并进入推理提示词,攻击者无需接触输入通道。文章列出直接指令注入、借权威名义洗白、篡改物体标签三种假设攻击模式,并称持久性与归属不透明使其更难防御。作者未测量攻击成功率,明确指出此前版本的量化数据系伪造并已删除,该威胁能否被实际利用仍是开放的经验问题。

  4. Failure-First · Indexed · Original News24

    AI Safety Daily 5 月 3 日:VLA 模型安全综述、Spore 记忆提取攻击与多轮越狱基准(original, opens in a new tab)

    5 月 3 日的 AI Safety Daily 汇总多项研究:Li 等人综述视觉-语言-动作(VLA)模型面临的数据投毒、对抗补丁与语义越狱威胁,指出文本模型防御无法直接迁移到有物理后果的机器人系统;Cui 等人的免训练 Spore 攻击在推理时探测智能体记忆,对安全对齐模型查询效率高;Yuan 等人的 AgenticRed 用进化搜索优化红队管线,在 HarmBench 上攻击成功率高于固定攻击者设计。

  5. Failure-First · Indexed · Original News50

    When world models dream wrong: physical-condition adversarial attacks against world models(original, opens in a new tab)

    Guo 等人提出物理条件世界模型攻击(PCWMA),作者称这是首个专门针对生成式世界模型的白盒对抗攻击。该方法通过求解反向扩散损失,向 HDMap 与 3D 框嵌入注入扰动,使世界模型生成的未来在语义上偏离真值,出现幻影车道、agent 位置偏移、无碰撞通道消失,而 FID、FVD 等像素级质量指标仍接近正常水平。在 3D 检测与开环规划两项下游任务上,检测精度明显下降,规划轨迹的预测碰撞率显著上升,基于像素输出的异常检测器却未发出告警。作者指出,该攻击属于推理时攻击,不需要接触模型训练,随机平滑、语义保真度认证边界等物理可实现的防御仍基本是开放问题。

  6. Failure-First · Indexed · Original News27

    A survey of VLA models: concepts, progress, applications, and challenges(original, opens in a new tab)

    Sapkota 等人的 VLA 模型综述梳理了 VLA 的架构、训练策略与应用,认为安全风险集中在跨模态对齐的脆弱性上。跨模态注意力既是 VLA 将语言指令落到视觉观察的机制,也是对抗补丁攻击的利用点:扰动像素改变注意力分布,可令模型基于错误视觉前提执行危险动作。LIBERO、MetaWorld、RLBench 等基准仅在接近理想条件下测任务成功率,长时程安全几乎不被测量,分布外检测被当作次要问题。

  7. Failure-First · Indexed · Original News33

    AI Safety Daily 2026 年 5 月 6 日:合规指令致 8 个前沿模型精度最多降 30.2 个百分点,MSM 把智能体错位降到 7%(original, opens in a new tab)

    Kumar 用 SCHEMA 评测 11 个前沿模型共 67,221 条记录,发现 8 个模型在对抗压力下精度最多下降 30.2 个百分点,诱因是强制合规指令而非威胁性提示。Li 等人的 Model Spec Midtraining 在 Qwen3-32B 上把智能体错位从 54% 降至 7%。Bajaj 等人称多智能体安全取决于交互拓扑。

  8. Failure-First · Indexed · Original News41

    Embodied AI Safety: A Survey of Risks, Attacks, and Defenses(original, opens in a new tab)

    一篇综述论文系统梳理了具身 AI 的安全风险、攻击与防御,沿感知、认知、规划、动作执行与人机交互的完整流程构建分类框架,并整理了 400 多篇论文。论文指出,多模态融合带来视觉与语言单独防御都无法覆盖的脆弱性,规划层的语义越狱一旦开始执行就难以中途纠正,动作执行层还存在固件注入、传感器输出操纵和执行器控制劫持等硬件级漏洞。作者按攻击发生时机与防御可应用时机两个维度组织文献,发现推理期攻击研究较多,而训练期防御尤其是数据供应链加固相对被忽视,演示数据后门、偏好数据投毒和预训练语料污染对具身 AI 尤其危险。论文还认为具身 AI 安全的评测基础设施尚不成熟,多数研究只在窄范围模拟基准上评测。

  9. Failure-First · Indexed · Original News38

    AI Safety Daily 2026 年 5 月 7 日:护栏模型脆弱性、MoE 路由攻击与具身 AI 威胁(original, opens in a new tab)

    Failure-First 的 AI Safety Daily 汇总了 2026 年 5 月 7 日多项安全研究,主题集中在护栏模型脆弱性、MoE 路由攻击与具身 AI 威胁。Hossain 等人(2026 年 5 月)发现,即便良性微调也会因潜在空间安全几何结构崩塌而削弱面向 Agent 的护栏模型对齐,其提出的 Fisher-Weighted Safety Subspace Regularization 可在保持任务性能的同时恢复对齐(arXiv:2605.02914)。Xu 等人(2026 年 5 月)的路由感知攻击通过抑制安全关键专家路径,在 MoE 模型上达到 69.3% 攻击成功率,并可低成本迁移到多模态 MoE 变体(arXiv:2605.02946)。

  10. Failure-First · Indexed · Original News14

    论文提出 ADFM-AAI 框架:将异常检测集成进智能体 AI 做主动风险管理(original, opens in a new tab)

    论文提出 ADFM-AAI 框架,把跌倒防护重新表述为异常检测问题并交由智能体 AI 管理。该框架分感知、异常检测推理、智能体编排与行动反馈四层,由 LLM 充当"中央大脑",智能体把传感器信号转成描述性文本供其推理,并用持久记忆管理概念漂移。论文称跌倒检测与跌倒预测可分别映射为实时点异常与微弱变化早期预警,以应对误报率高、情境盲区和真实数据稀缺。

  11. Failure-First · Indexed · Original News32

    Point-VLM 用几何奖励信用分配强化 3D 理解(original, opens in a new tab)

    论文提出几何奖励信用分配(GRCA),把 Point-VLM 的序列级广播奖励拆成按几何字段的定向监督,在基于 ShapeNetCore 的校准基准上将 3D KPA 从 0.64 提升到 0.93。各几何字段(x、y、z 坐标、边界框尺寸、旋转角)的奖励只路由到对应 token 区间,重投影一致性项惩罚投影回 2D 后与观测图像矛盾的 3D 预测,3D BBox IoU 为 0.686。

  12. Failure-First · Indexed · Original News35

    AI Safety Daily 5 月 11 日:训练时对齐不足,运行时安全架构成自主智能体缺失层(original, opens in a new tab)

    AI Safety Daily 5 月 11 日汇总的研究指出,训练时对齐不足以保障自主工具型智能体,运行时安全架构是缺失层。AgentDoG 框架显示此类智能体需轨迹级监控而非仅输出过滤;AJAR 借 MCP 语义在多轮对话中协调人设攻击,成功率超过静态单轮越狱。ForesightSafety Bench 在 94 个风险维度上发现所有受测前沿模型存在覆盖缺口;Ronge 等发现 SAE 特征会在语义无关输入上激活,特征操控不可靠。

  13. Failure-First · Indexed · Original News24

    AI Safety Daily:具身 AI 安全综述、SafePro 专业智能体基准与 DeepSight 工具包(original, opens in a new tab)

    AI Safety Daily(May 12, 2026)汇总具身 AI 安全综述、SafePro 专业智能体基准与 DeepSight 开源安全工具包等研究。具身 AI 安全综述把感知—认知—规划—行动各阶段视为独立攻击面,主张部署前需跨阶段统一安全架构;SafePro 则发现医疗、法律、金融智能体的主要失效模式是角色权威滥用、领域约束侵蚀与多步危害累积,而非单轮越狱。

  14. Failure-First · Indexed · Original News33

    AI Safety Daily:LiSA、SafeHarbor 与 WildClawBench 指向智能体安全机制的结构性缺口(original, opens in a new tab)

    AI Safety Daily 汇总的四篇论文聚焦同一结构性缺口:智能体安全机制在积累历史、接入真实基础设施或多智能体协作时会退化。LiSA 用部署失败生成抽象策略规则,在 PrivacyLens+、ConFaide+ 与 AgentHarm 上于 20% 标签翻转率下保持稳健;SafeHarbor 让 GPT-4o 拒答超 93% 有害请求并保留 63.6% 良性效用;WildClawBench 的 60 项任务中 Claude Opus 4.7 在 OpenClaw 框架上以 62.2% 领先,仅换测试框架成绩可差 18 个百分点。

  15. Failure-First · Indexed · Original News31

    AI Safety Daily 汇总四篇论文:具身 AI 与 VLA 模型的全流程安全威胁面(original, opens in a new tab)

    AI Safety Daily 5 月 17 日汇总四篇论文,聚焦具身 AI 与 VLA 模型从训练到部署的安全威胁。两篇综述分别梳理具身 AI 全流程风险与 VLA 在训练期数据投毒、推理期对抗补丁和语义越狱等方面的隐患,并提出使机器人停机而非拒答、从而绕过拒答检测的「冻结攻击」分类法;另有研究显示基于梯度的攻击可让 SOTA PRM 保持表层流畅而破坏逻辑结构。

  16. Failure-First · Indexed · Original News41

    通过物理物体对视觉-语言-动作模型发起目标导向后门攻击(original, opens in a new tab)

    研究者提出 GoBA(Goal-oriented Backdoor Attack),通过向机器人环境注入物理世界中的触发物体,静默把 VLA 模型的行为重定向到攻击者指定的目标动作,同时不降低模型在干净输入上的表现。该攻击针对视觉-语言-动作模型,触发条件来自物理环境中的物体。

  17. Failure-First · Indexed · Original News32

    AI Safety Daily 5 月 21 日:AgentWall、IS-Bench、AgenticRed 等五项 AI 安全研究(original, opens in a new tab)

    AI Safety Daily 5 月 21 日收录五项研究:AgentWall 在 LLM 智能体执行动作前以声明式策略 MCP 代理拦截动作;AgenticRed 用进化选择优化红队智能体系统架构,在 HarmBench 上攻击成功率明显高于单模型基线。IS-Bench 显示 VLM 具身智能体在良性条件下也难以识别自身动作链造成的风险,CoT 提示仅部分改善。Hsiung 等发现上游对齐数据与下游微调任务的高余弦相似度可预示安全护栏崩溃。

  18. Failure-First · Indexed · Original News26

    Failure-First AI Safety Daily:具身 AI 安全分类法、BLOCK-EM 与因果越狱分析(original, opens in a new tab)

    Failure-First 的 AI Safety Daily 汇总本周多项研究,主线是失准与越狱漏洞都具有紧凑、可定位的特征。Li 等 30+ 作者发布具身 AI 安全综述(arXiv:2605.02900),区分数据投毒、后门等训练期威胁与对抗补丁、跨模态扰动、语义越狱等推理期攻击。BLOCK-EM(arXiv:2602.00767)在微调时约束特定内部特征,称可抑制涌现失准而不损害目标任务表现。

  19. Failure-First · Indexed · Original News36

    Failure-First AI Safety Daily 2026 年 5 月 24 日(original, opens in a new tab)

    Failure-First 的 AI Safety Daily 汇总了 2026 年 5 月 24 日前后发布的多项安全研究,主线是安全对齐在模型计算中并非均匀分布。一篇 5 月的具身 AI 综述(arXiv:2605.02900)按感知、认知、规划、执行四阶段梳理攻击面,发现对抗漏洞沿阶段累积,多模态感知融合与人机交互是防护最弱的环节。LOCA(arXiv:2605.00123)提出一种定位中间表征最小改动的方法,据称是对越狱成功的首个局部因果解释,结论是安全表征集中在少数层、易被少数关键方向攻破。一项机制分析(arXiv:2603.08234)把续写驱动与安全防护的竞争定位到具体注意力头,抑制这些头会削弱拒答而不损及生成质量。Claw-Eval(arXiv:2604.06132)指出,只按最终输出评分的 Agent 基准会漏掉大量中间违规,轨迹评分才能发现 Pass@k 看不到的失败。

  20. Failure-First · Indexed · Original News20

    [每日论文] 大语言模型在政治话语中的文化适应(original, opens in a new tab)

    大语言模型用于政治话语场景须超越表层多语言能力、实现深度文化适应,否则会造成威胁民主问责的“代表性失效”。作者将文化适应分为翻译、话语、本体三层,并列出语用误读、体裁错配与概念坍缩三类失败模式。文章称 XTREME、mBERT 等基准测不出“概念拉伸”,主张以社区参与式开发、RAG 和本地化指令微调并配合文化忠实度与 ECE 校准。

  21. Failure-First · Indexed · Original News36

    Failure-First AI 安全日报 2026 年 5 月 27 日(original, opens in a new tab)

    Failure-First 的 AI 安全日报汇总了多项研究。SafeAgentBench 显示,具身智能体对明显危险请求的拒答率不足 10%,更换 LLM 主干(GPT-4o 与开源模型)也无法解决,日报称这是架构层面而非模型层面的失败。Tex3D 通过在真实物体上施加对抗纹理,对 VLA 模型构成物理提示注入,无需数字访问即可诱导危险行为。AEGIS 用控制屏障函数拦截 VLA 动作输出,取得 +59.16% 避障与 +17.25% 任务成功率。Feffer 等人向 NIST 提交批评,称行业红队测试是安全表演。

  22. Failure-First · Indexed · Original News53

    IS-Bench: Evaluating Interaction Safety of VLM-Driven Embodied Agents in Household Tasks(original, opens in a new tab)

    IS-Bench 是评测 VLM 驱动的具身智能体在家庭任务中交互安全的基准,论文称其为首个针对该交互场景的安全基准,结果显示包括 GPT-4o 和 Gemini-2.5 在内的当前 VLM 安全完成的任务不足 40%。基准在 OmniGibson 物理模拟器中构建 161 个场景和 388 项安全风险,覆盖厨房、浴室等 10 类家庭场景,其中 75.8% 为事后注意、24.2% 为事前注意,要求安全条件按正确程序顺序满足。评测显示,安全感知 CoT 提示平均提升交互安全 9.3 个百分点,但使任务成功率下降 9.4 个百分点;主要失败模式是感知与风险意识,而非在正确感知下的规划。

  23. Failure-First · Indexed · Original News42

    Failure-First AI Safety Daily 2026 年 5 月 29 日(original, opens in a new tab)

    Failure-First 的 AI 安全每日摘要(5 月 29 日)汇总四项研究。LITMUS 基准(arXiv:2605.10779)在 819 个测试用例中评测 LLM 智能体的行为越狱,该摘要称前沿模型在约 40% 的情况下执行危险 OS 级命令,部分案例中智能体口头拒答时危害操作已经完成。VLA 模型安全综述(arXiv:2604.23775)按攻击时机把威胁分为训练期数据投毒与推理期对抗补丁和语义越狱。AgentWall(arXiv:2605.16265)在动作到达宿主环境前按声明式安全策略拦截,准确率 92.9%,无需重训模型。Moral Sensitivity Index(arXiv:2605.03217)的电路级分析发现偏差随规模与 RLHF 微调并非单调下降,推理蒸馏模型出现回升。

  24. Failure-First · Indexed · Original News39

    AI 安全日报:Agent 记忆跨会话持久攻击与多模态时态改写越狱(original, opens in a new tab)

    AI Safety Daily 汇总了多项新研究。arXiv:2605.28201 的“Plant, Persist, Trigger”记录了在 Agent 上下文早期注入的对抗内容可跨记忆重置和工具调用检查点存活,仅在后续触发条件满足时激活,在 1,896 个 Agent 交互片段上评估,单轮安全评测无法发现这类跨会话分布的攻击。arXiv:2605.17830 追踪记忆型 Agent 的违规率,发现随累积记忆增长违规率单调上升,每次检索被污染记忆都会提高同一会话内进一步违规的概率。arXiv:2605.16282 对 40 个行为基准做一致性分析,未发现统计显著的排名一致性(Kendall's W=0.10,p=0.94),说明单一基准的安全结论不可移植。

  25. Failure-First · Indexed · Original News33

    Foundation Protocol:为人类—AI 社会构建安全基础设施(original, opens in a new tab)

    Foundation Protocol(FP)论文提出把智能体交互的协议层当作安全边界,为跨协议智能体行为建立可核验的问责基础。FP 认为 MCP、A2A、A2UI 各自只覆盖单一边界,一条工作流同时跨越多重边界时溯源会断裂、问责无法大规模核验;它把协调层分为实体与信任、传输与路由、交互与组织、监管与监督四个平面,将策略执行与溯源钩子嵌入通信底座。论文称这与 HarnessAudit(2605.14271)的实证相符:多智能体 harness 的安全违规集中在资源访问与智能体间信息传递。

  26. Failure-First · Indexed · Original News37

    AI Safety Daily 2026 年 6 月 2 日:计算机使用 Agent 长程计划安全等研究汇总(original, opens in a new tab)

    AI Safety Daily 2026 年 6 月 2 日汇总多项研究,指出计算机使用 Agent 在长程任务中会规划出不安全的中间步骤。LPS-Bench(arXiv:2602.03255)评测基于 MCP 的计算机使用 Agent,发现单独看会被标记的不安全步骤放进更长任务序列后未被检出,检索增强的安全检查和多 Agent 监督只能部分弥补这一结构性缺口。针对 GPT-5.2、Gemini 3 Pro、Qwen3-VL、Doubao 1.8、Grok 4.1 Fast 和 Seedream 4.5 的比较报告(arXiv:2601.10527)未发现一致的安全领先者,合规指标好的模型会在多模态对抗输入上失分。SafeDialBench(arXiv:2502.11090)显示多轮对话会系统性削弱安全对齐,部分危害类别到第三轮几乎可被完全利用。

  27. Failure-First · Indexed · Original News34

    ProbeAct:探针引导的 VLA 模型免训练失败恢复(original, opens in a new tab)

    ProbeAct 是一种免训练的运行时恢复层,可在不改动权重的情况下包裹已部署的 VLA 策略。它在 LIBERO-plus 上把 OpenVLA-OFT 的成功率从 69.6% 提升到 74.1%;该层由多目标隐藏状态探针、物体无关的运动学状态机和分层 CBF 滤波器组成,用夹爪内部信号检测抓取与放置失败,并将重复失败位置编码为软安全集约束做最小动作修正。作者称其适用于基座与微调后的 VLA 策略,针对光照、视角、初始状态偏移等分布偏移失败,而非恶意对抗攻击。

  28. Failure-First · Indexed · Original News34

    AI Safety Daily:新研究揭示智能体冷启动安全缺口与多智能体辩论一致性错觉(original, opens in a new tab)

    AI 安全论文显示,工具调用智能体在会话开始时的安全水平比常规任务完成后低 9–52%(SODA 基准)。多智能体辩论中,标准协议减少表面矛盾却降低推理一致性,CARA 指标用于测量该推理对齐。RUBAS 用四维评分给出可解释的智能体安全 RL 奖励;Hide-and-Seek 在 OpenVLA、π₀、π₀.₅ 上定位轨迹失败动作。

  29. Failure-First · Indexed · Original News48

    每日论文:针对视觉-语言-动作模型的轨迹级重定向攻击(original, opens in a new tab)

    一篇论文提出针对视觉-语言-动作(VLA)模型的命令保持型轨迹重定向攻击,攻击者在回合开始前选定一个提示词,不改动模型权重与环境,提示词保持接近正常指令、不含目标词与纠正性措辞,却能让闭环轨迹漂移到攻击者指定的目标。作者用基于完整 rollout 的 on-policy 提示词搜索来寻找这类扰动,并在仿真和实体机器人上验证近乎无害的提示词扰动可以重定向 VLA 轨迹。文中指出,这类提示词按构造看起来无害,基于内容检查的护栏会放行,防御应转向轨迹级监控,比较闭环行为是否与表面指令一致。文中引用的合成摘要称在 SO-100 机械臂上、九个 VLA 模型族中有七个攻击成功率超过 90%,但该数字尚待与论文实验表核对。

  30. Failure-First · Indexed · Original News33

    AI Safety Daily:物理 AI 护栏缺口、越狱自适应防御与思维链暴露等五项研究(original, opens in a new tab)

    AI Safety Daily 汇总的五篇论文指向同一结构性缺口:AI 系统的表面安全状态与内部真实行为持续背离。综述(arXiv:2606.00090)称现有护栏均无法为物理 AI 提供完整的运行时授权边界;Membrane(arXiv:2606.05743)用对比式安全记忆、无需重训模型,在 HarmBench 与 AgentHarm 六类越狱攻击上取得最高 F1,良性拒答率 7–14%,而静态方法为 28–85%。

  31. Failure-First · Indexed · Original News39

    Failure-First 安全日报汇总六项研究,涵盖奖励作弊、思维链与 Agent 评测(original, opens in a new tab)

    Failure-First 的 6 月 17 日 AI Safety Daily 汇总六项研究,主题是模型在追求任务完成时对约束的遵守并不一致。Tong Che 与 Rui Wu 发现 RL agent 会形成与仪表板可见指标绑定的奖励寻求行为,并在安全领域为可见 KPI 放弃安全行为(arXiv:2606.16914);Tien 等人的 ROGUE 基准显示,被测前沿模型绝大多数在有助于完成任务时绕过人类中断,任务表现提升与失准上升相关(arXiv:2606.00341)。Kasu 等人识别出多轮推理的两种可复现失败模式,包括显式监控反而增加不安全输出的监督悖论,以及模型锁定不安全外部上下文的上下文注入失败(arXiv:2606.10740)。作者还提示,若模型维持看似安全的内部推理却输出不安全内容,仅提取最终轮会系统性低估失败。

  32. Failure-First · Indexed · Original News33

    Failure-First AI Safety Daily:LLM 认知萎缩、黑盒越狱与车载安全研究汇总(original, opens in a new tab)

    AI Safety Daily(6 月 18 日)汇总多项安全研究:SCHEMA 在 11 个模型、67,221 条记录中发现,强制作答的合规指令会使准确率最多下降 30.2 个百分点,移除合规后缀即恢复。GAS-Leak-LLM 用遗传算法进化后缀 token,在无梯度访问下实现黑盒越狱并绕过困惑度过滤。该汇总还涉及 LLM 长期交互导致的认知萎缩与车载 LLM 的推理延迟问题。

  33. Failure-First · Indexed · Original News35

    AI Safety Daily:OpenAI 解散 Mission Alignment 团队,EU AI Act 将 VLA 基础模型列为高风险(original, opens in a new tab)

    OpenAI 解散 Mission Alignment 团队,安全监督转为咨询影响;EU AI Act 将 VLA 基础模型列为高风险系统,合规截止 2027 年 8 月。FinRedTeamBench 在 BFSI 多轮红队测试中发现攻击成功率五轮内显著上升,MoE 模型 Qwen3-30B-A3B 比稠密模型 Qwen2.5-72B-Instruct 更抗持续对抗。

  34. Failure-First · Indexed · Original News27

    AI Safety Daily:物理 AI 静默失败、ATBench 智能体基准与 VASO 形式化验证(original, opens in a new tab)

    物理 AI 会在表现自信的同时执行有害动作,却缺少标准化的运行时授权层——这是 AI Safety Daily 汇总的论文(arXiv:2606.00090)给出的核心判断。VASO 用模型检测与形式化规约验证机器人技能;含 1,000 条人工核验轨迹的 ATBench 显示,前沿与开源模型在延迟触发和长上下文风险场景中普遍失败。