全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 6 条- 动态X @p1njc70r
葡萄牙政府AI投资忽视安全
也许那500万欧元中应该有一部分用于AI安全与安保，这样Amalia就不会仍然被2024年时期的越狱手段骗到了。 @govpt @reformaestadopt
- 动态安远AI
中国开源最强 AI 模型，安全吗？
中国实验室今年夏天发布 Kimi K3、Qwen 3.8-Max、GLM-5.3 等开源模型，能力仅略落后于美国最强模型，引发开源模型是否会被滥用的争论。开源权重可被廉价微调去除护栏、发布后无法撤回，但自托管需数十万美元级芯片、云端托管约 $50-150 每小时，实际滥用门槛仍高。中国 TC260 已在 AI 风险框架中点名开源模型安全机制可能被移除或绕过，并着手起草开源 AI 安全标准。
- 动态Nicholas Carlini Writing
Nicholas Carlini 等攻破 13 项对抗样本防御，质疑防御研究是否在进步
Nicholas Carlini 与 Florian Tramer、Wieland Brendel、Aleksander Madry 用两个月时间攻破了 13 项对抗样本防御，并据此写成论文。他们发现这些防御的失效方式与 ICLR 2018 时期几乎相同，多数只是让攻击时的梯度下降变得困难，而非真正提升鲁棒性；其中只有 3 篇论文没有做自适应攻击。作者认为进步之处在于防御方开始尝试做评估，但评估仍普遍不到位，且论文往往明确声称自己不属于这种已知失效模式。他把问题归因于三点：正确评估本身很难、合格审稿人不足、作者缺乏做彻底评估的激励，因为负面结果难以发表。
- 动态Nicholas Carlini Writing
Nicholas Carlini 复盘 IEEE S&P 2024 一篇被攻破的对抗样本防御论文
Nicholas Carlini 指出 IEEE S&P 2024 接收的一篇对抗样本防御论文存在数学上不可能成立的结论，其评测代码含 bug，改一行代码即可将模型准确率降到 0%。该论文声称在 MNIST 上扰动上限 0.5 时准确率超过 60%，但任何图像与全灰图像的最大范数距离都不超过 0.5，因此 10 类分类下稳健准确率上限只能是 10%。论文还声称受攻击时准确率（94%）高于未受攻击时（83%），作者认为这说明所用攻击比恒等变换还弱。
- 动态AI Frontiers
MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案
MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出，当前前沿 AI 实验室的越狱披露机制存在三大问题：许多厂商没有官方报告渠道，现有漏洞赏金项目普遍附带限制披露的 NDA，且严重性由实验室用不公开的标准自行评定。作者称，目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径，且仅覆盖 CBRN 相关的漏洞赏金；Google DeepMind、SpaceXAI（原 xAI）和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。
- 动态Helen Toner
Helen Toner：AI 对齐的核心挑战在于“可控性”（steerability）
Helen Toner 提出应把“AI 对齐”理解为“可控性”：真正的问题是能否可靠地引导先进 AI 系统朝向任意目标，而非它是否符合某人价值观。“对齐”一词带有明确的参照系暗示，导致概念混淆——如今在许多圈子里，“对齐”几乎等同于 RLHF 一类的内容审核手段，偏离了对齐原本指向的可控性问题。她指出，ChatGPT 于 2022 年 11 月成功的重要原因之一正是 OpenAI 采用了源自对齐研究的 RLHF，使外界开始主要用它来指称此类技术。