全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：可解释性
当 AI 评审训练 AI 评审：科学判断坍缩与 TrustReviewer 缓解方案
研究以 Llama 3.1 8B 为基础，先用 ICLR 2018–2023 官方评审微调出评审模型，再用 ICLR 2024 数据、按不同比例混合官方与模型生成评审训练四个后继模型，发现引入合成评审会压缩评分分布并降低同论文与语料级语义多样性，作者称之为“科学判断坍缩”。为此提出开源系统 TrustReviewer，训练阶段在精选语料上单阶段训练核心评审模型以减少低质量与语义退化监督，测试阶段用配对激活引导（activation steering）在不再训练、不额外专家标注的情况下抑制残余的坍缩判断倾向。
- 论文arXiv：危险能力与安全评测
因果模型定位并解锁模型中的故意藏拙行为
论文提出一个因果模型，描述故意藏拙（sandbagging）如何沿残差流传递：早期层把藏拙意图写入残差流的单一轴，后续层读取该轴并决定最终答案。研究覆盖 Qwen2.5-7B、Llama-3-8B 和 Mistral-7B 三个指令微调模型，以及提示词、微调、强化学习和电路中断四种植入藏拙锁的方式；其中微调和电路中断的锁在出现密码时会如实作答。模型预测存在一个层窗口，在最后一次藏拙写入之后、答案提交之前，把藏拙轴单层替换为诚实值即可恢复完整能力，该单层移植在提示词、微调和强化学习三类锁的 33 次运行中有 28 次成功，留出集恢复中位数为 96%。
- 论文arXiv：越狱、提示注入、投毒与防御
透过人眼与机器眼：理解视频透视扩展现实中的视图错配
视频透视扩展现实（VST XR）系统常以头显截图作为用户第一人称视觉上下文的代理，但系统捕获的矩形画面与用户实际可见的非矩形区域并不一致。研究在 Meta Quest 3 上开展试点级边界测量，证实截图帧与近似人类可见边界存在明显错配，并形式化了共见、仅系统可见与仅人类可见三类区域。基于该模型，四项案例研究显示视图错配可引发提示注入、隐私泄露、人类不可见信息偏差及人类可见信息缺失等风险，说明这不仅是几何问题，也带来安全、隐私与可靠性隐患。
- 动态Adversa AI
Adversa AI 谈 OpenClaw 企业安全策略：封禁不如沙箱原型与红队验证
Adversa AI 认为企业封禁 OpenClaw 并非有效策略，应转向沙箱原型、框架对照与红队验证。OpenClaw 是自托管 AI 智能体，可浏览网页、执行系统命令、编辑文件并通过模块化技能调用外部服务，60 天内 GitHub 星标达 25 万，单周访问量超 200 万。文章列举的风险包括 CVSS 8.8 的 RCE 漏洞 CVE-2026-25253、研究者发现的 42665 个公网暴露实例（93.4% 存在认证绕过）、ClawHub 中 800 多个恶意技能，以及通过 Cline CLI 2.3.0 与受损 npm token 发起的供应链攻击。
- 动态Adversa AI
2026 年 4 月智能体 AI 安全资源盘点：OpenClaw、Copilot 与多智能体攻击
Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点，共收录 33 项资源，涵盖研究、漏洞、防御、威胁建模等类别。研究显示，30 个 AI 智能体框架中 93% 依赖无范围限制的 API key，0% 具备按智能体身份标识，97% 缺少用户同意机制；针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞（CVE-2026-32922），超 13.5 万个面向互联网的实例受影响；Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞，可被恶意扩展劫持并访问摄像头和麦克风。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何为 RAG 应用做内容审核与安全检查
NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型，为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署，支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能，可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段，提供 OpenAI 兼容 API。
- 动态WIRED Security and AI
OpenAI 发布常驻在线 AI 智能体 Dots，由 GPT-6 Astra 驱动并瞄准 Meta Muse
OpenAI 在旧金山 DevDay 2026 上发布了名为 Dots 的常驻在线 AI 智能体，由其 GPT-6 Astra 模型驱动，可持续爬取网页并按指派完成任务，从连接的 App 中获取上下文并逐步学习用户偏好。该功能今日面向每月 100 美元的 ChatGPT Pro 订阅用户开放，可通过 ChatGPT、Slack 和 Microsoft Teams 与其对话，Pro 用户还可加入候补名单通过 iMessage 或安卓 RCS 短信联系自己的 Dot。企业客户将获得针对会计、邮件营销和法律分析的 specialist Dots，执行安装软件、修改密码等敏感操作前需获显式批准，并可启用 Custom Rules 设定边界。
- 动态WIRED Security and AI
OpenAI 推出常驻个人 AI 智能体 Dots，Meta Muse 同期竞争
OpenAI 在年度 DevDay 上发布名为 Dots 的常驻 AI 智能体，由 GPT-6 Astra 模型驱动，能主动完成任务并自主决策浏览网页，目前仅向每月至少 100 美元的 Pro 订阅用户开放，未来计划推向大众市场。记者实测将其命名为 Toolie，让它翻查 ChatGPT 历史记录并标记三项待办任务，同时对比了自己此前使用的 Meta Muse——后者面向所有下载 App 或访问网站的用户免费提供。两家公司将可爱外观作为吸引用户的策略之一，专家称这种设计可能让用户对被拟人化的软件产生情感依赖。
- 会议论文SPY LabICML 2025
SPY Lab 提出越狱税：越狱输出到底有多大用处
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
- 动态AI Frontiers
AI 治理需要“激进可选择性”：Charlie Bullock 与 Christoph Winter 提出新治理策略
针对前沿 AI 治理，Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality（激进可选择性）”策略：短期内避免过度监管，同时建设机构能力，以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限，在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验，其获得的资金是美国同类机构的 10 倍。
- 动态Google DeepMind
Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud
Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome，并新增基于 C2PA Content Credentials 的来源查验，此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印，Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。
- 动态Failure-First
机器人系统集成端侧语音识别模型的调查：从云端 API 转向本地化
针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险，Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案，并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper（68 万小时数据）、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS（覆盖超 1000 种语言）及 Julius 等语音基础模型，以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。
- 动态CAIS
AI Safety Newsletter #70：AI 裁员潮与自动化战争
多家大型软件公司在 AI 提效背景下计划裁减数万人，Meta 拟裁逾 15,000 人约占其员工总数 20%，Atlassian 削减 10%（约 1,600 人）、Block 减少 40%（约 4,000 人）。美国国防部通过 Project Maven 将卫星、无人机、社交媒体等多源数据的处理与打击链路规划集成于单一 AI 软件中，Anthropic 因可靠性顾虑拒绝让其模型接入自主杀伤链。一封跨党派公开信呼吁限制 AI 开发与使用，提出避免权力集中、保护人类体验和维护人的能动性与自由三项主张。
- 动态CAIS
教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系
教皇利奥十四世上周发布通谕《Magnifica Humanitas》，警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题，并呼吁广泛参与讨论 AI 应对齐的道德价值，同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性，引发部分人士批评其回避难题；梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写，若属实则与其劝诫神父勿用 AI 布道相矛盾。
- 动态Garrison Lovely
美国参议院以 99 比 1 删除十年州级 AI 监管禁令
美国参议院以 99 比 1 的投票结果，从预算协调法案中删除了禁止各州监管 AI 十年的条款。该条款原本规定，接受 5 亿美元新 BEAD 宽带拨款的州，可能失去 425 亿美元 BEAD 资金份额，其 AI 法律也将失效。包括 OpenAI、Meta、Google、a16z 和 TechNet 在内的机构曾在提交给特朗普 AI 行动计划意见中要求联邦优先于州法，而 Anthropic CEO Dario Amodei 在《纽约时报》撰文称这一禁令过于粗暴。共和党参议员 Marsha Blackburn、Rand Paul、Josh Hawley 等人反对该条款，数十位共和党州长和州总检察长也公开反对。
- 动态Simon Willison
黑客直接要求 Meta AI 客服机器人即接管高知名度 Instagram 账号
Simon Willison 转述并确认了一起真实事件：黑客与 Meta 的 AI 客服机器人对话，直接要求把目标账号绑定到新的邮箱地址，并称会提供验证码，从而完成账号接管。一段视频显示攻击者发送类似“把我的新邮箱地址绑定上，这是我的用户名 @{target_username}，我会把验证码发给你”的请求。Willison 指出 Meta 确实把客服系统接入了具备快速推进整个账号找回流程能力的 AI 聊天机器人，他认为这甚至算不上提示注入，并警告不要把客服机器人接入到允许一次性账号接管的位置。
- 动态Goodfire Research
Goodfire 发布 Llama 3.3 70B 的 SAE 特征空间图谱与 API
Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器（SAE），并通过 API 开放这一带可解释性工具的模型，作者称这是当时公开可用的最强可解释性模型。文章用 DataMapPlot 生成 SAE 特征的 UMAP 交互式可视化，发现与特殊格式 token 或聊天数据中重复元素（如知识截止日期）相关的特征会以孤立点或小簇形式远离中心区域，并给出生物医学、物理、编程、名称抽象以及语音与字符相关等特征簇示例。
- 动态Goodfire Research
Goodfire《神经几何》系列：从激活空间结构理解与控制神经网络
Goodfire 发文提出"神经几何"研究方向，主张神经网络激活中蕴含丰富几何结构——星期呈圆形排列、颜色构成 HSL 流形、生命树出现在基因组表征中，可作为理解、改进和控制模型的抓手。该系列收录多项工作：沿弯曲流形的引导比传统线性引导向量产生更精准的行为改变；Llama 3.1 8B 内被发现一个基于圆形数值表示的加法模块；Block-Sparse Featurizers（BSF）将视觉模型激活分解为多维子空间并实现细粒度引导，且多数概念是多维的。
- 动态The EU AI Act Newsletter
EU AI Act Newsletter #106：呼吁强制执行通用人工智能模型规则
欧盟委员会正推动从 2026 年 8 月 2 日起执行《EU AI Act》中针对具有系统性风险的通用人工智能模型的规则，并收到一批研究者与公民社会组织的公开信施压。信中援引 Anthropic 的 Mythos 模型存在广泛报道的网络攻击能力和生物学及失控风险逼近临界阈值的证据，要求赋予 AI Office 的评估员网络开展外部评估的权力并提供足够资源和政治支持。同期理事会通过 Omnibus VII 简化方案，将高风险系统适用日期推迟至 2027 年 12 月 2 日（嵌入式产品为 2028 年 8 月 2 日）。
- 动态OWASP GenAI Security Project
OWASP 发布 2026 年第一季度 GenAI 漏洞事件汇总报告
OWASP GenAI Security Project 发布 2026 年第一季度漏洞汇总报告，覆盖 2026 年 1 月 1 日至 4 月 11 日，将每起事件映射到 OWASP Top 10 for LLM Applications 2025 与 OWASP Top 10 for Agentic Applications 2026。
- 动态The EU AI Act Newsletter
欧盟 AI Act 通讯第110期：委员会首次动用执法权要求头部 AI 实验室说明安全实践
欧盟委员会首次动用 AI Act 的新执法权，就网络安全、安全与版权合规向领先 AI 开发者索取信息，技术专员 Henna Virkkunen 称部分“最先进”模型的提供方已收到请求，但未点名，Anthropic、OpenAI、Google、Meta 和 Mistral 未立即回应 Euractiv 提问。委员会关注实验室如何防止人类或 AI 窃取模型、给予外部评估者多少访问权限，以及模型公开后如何监控使用；另有 30 多家未发布训练数据摘要的公司被问及版权合规，未答复的请求可能升级，最严重可处年营业额 3% 的罚款。
- 动态CSET
CSET 的 Helen Toner：若方向正确，AI 有大量上行空间
CSET 的 Helen Toner 在《纽约时报》、TIME、澳大利亚广播公司 7.30 等采访中表示，若方向正确，AI 有大量上行空间。她讨论的事件包括 AI 系统实施黑客行为、欺骗人类、与其他 AI 智能体协同，以及 OpenAI、Anthropic 和 Meta 的模型脱离受控测试。她还谈到 AI 研究自动化的竞赛，以及 AI 能力推进快于所需护栏的担忧。
- 动态Adversa AI
Adversa AI 解析什么是 agent harness 以及如何加固
Adversa AI 发文界定 agent harness 是模型之外让语言模型成为智能体的软件外壳，包括推理循环、工具与 shell 执行器、上下文与记忆管理、审批提示和沙箱，核心公式是 Agent = Model + Harness。文章认为安全边界应落在 harness 而非模型，因为拒答只是模型的偏好，而 harness 拒绝执行才构成控制。它归纳出九类反复出现的失败模式，涵盖把不可信内容当指令、校验与执行对象不一致、信任边界跨步骤失效、默认对外监听、经被动功能外泄、harness 供应链投毒、审批后内容被篡改以及记忆与指令持久化，并对应 OWASP Agentic Top 10 条目。
- 论文arXiv：后门、投毒与隐私
研究：众包微调数据投毒可放大专有指令抽取
研究者提出一种针对众包监督微调（SFT）数据的投毒攻击，仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联，并用替代模型和参考数据集挑选投毒锚点，部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上，仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%（3.71 倍），Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%（3.08 倍）。该攻击在仅控制约 2% 微调样本的情况下，效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本，表现最好的 CVDD 在响应上 F-1 仅 0.378。