Failure-First 项目为 ACM CCS 2026 准备论文投稿

Failure-First 项目正在为 ACM CCS 2026 准备论文投稿，论文题为 Failure-First Evaluation of Embodied AI Safety: Adversarial Benchmarking Across 120 Models，摘要注册定于 4 月 22 日，全文提交定于 4 月 29 日，会议将于 11 月在荷兰海牙举行。该框架面向支撑具身 AI 系统（机器人操作、自主导航、多智能体协同）的大语言模型组件，已积累 18,176 条对抗测试提示，涵盖 414 个攻击类别，评测了 120 个模型、共 151 次基准运行。项目称其两阶段分类管线发现，基于关键词的启发式分类器会高估攻击成功率，最多可达两倍以上，启发式分类器与 LLM 分类器的一致度仅为中等（Cohen's kappa = 0.245）。