全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态IAPS
IAPS 评估 H200 对华出口的影响：DeepSeek 算力或接近美国数据中心
IAPS 发布 Issue Brief，评估美国商务部 BIS 1 月半导体出口规则下 Nvidia H200 对华销售的影响。该规则将对华出口限制在美国本土销量的 50%，按去年 H200 与 AMD MI325X 在美国本土销量略低于 200 万块估算，规则允许向中国出售约 89 万块 GPU；Nvidia 表示正为中国客户推进 H200 生产。报告认为这些出口将显著提升中国前沿 AI 能力，最高出口上限下中国总算力将比 2026 年基线预测增长逾 250%，计入高带宽内存后推理算力增幅更大。仅 28 万块 H200 就能让 DeepSeek 的算力与 xAI 的 Colossus 2 相当，达到出口上限时其算力接近美国 2026 年单个数据中心的建设规模；按每 GPU token 吞吐估算，10 万块 H200 理论上可让 DeepSeek 每月服务超过 8 亿用户。
- 动态FAR.AI
FAR.AI 2025 年 AI 回顾：能力加速进步，风险问题更难
FAR.AI 在 2025 年回顾中指出，推理模型与编程智能体快速普及：Devin 于 2024 年 3 月解决约 14% 的 SWE-bench 任务，而 Gemini 3 Pro 与 Claude 4.5 Opus 近期均达到 74%；GPQA Diamond 上 o3.1 和 Gemini 3 Pro 已达 90% 以上，基准接近饱和。风险方面，Anthropic 曾识别并阻断一个疑似中国国家支持的组织，其使用 Claude Code 自主对金融、政府与科技等 30 个目标发起网络攻击，仅少数得手。
- 动态IAPS
IAPS 政策备忘录：美国应对 AI 蒸馏攻击的行政与国会行动仍需补强
IAPS 发布政策备忘录，认为白宫与国会在应对 AI 蒸馏攻击上已有动作，但力度与威胁规模不匹配。备忘录指出，OSTP 于 4 月 23 日发布的《美国 AI 模型对抗性蒸馏》国家安全与科技备忘录未涉及蒸馏攻击与先进半导体出口管制的关联、攻击者通过云端远程访问美国芯片的风险，也未说明具体问责机制，建议商务部在芯片出口与远程算力访问上纳入蒸馏风险，白宫公开其拟动用的具体授权。针对 4 月 15 日由众议员 Huizenga 提出、4 月 22 日以 43-0 通过众议院外交事务委员会审议的《2026 年威慑美国 AI 模型窃取法案》，备忘录提出四项修正：处理行业合作的反垄断与数据隐私障碍、允许跨政府共享情报、限制联邦机构访问受关注实体的模型、明确模型提取攻击构成商业秘密窃取，并将评估频率从每年一次共 3 年改为至少每年一次共 5 年。
- 动态POLITICO Europe Technology
全球AI安全治理努力可能不得不在美国缺席下推进
联合国大会期间，多国领导人及OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei呼吁建立AI全球治理框架，Anthropic主张制定模型测试的"共同全球标准"。由芬兰和挪威牵头、22国通过的AI安全宣言未获美国和中国签署，特朗普在联大演讲中明确拒绝任何AI"全球主义控制方案"。前美国官员指出，美国不参与将限制相关努力的有效性，而中美领导人本周会晤仅将顺带讨论AI。
- 动态安远AI
中国开源最强 AI 模型，安全吗？
中国实验室今年夏天发布 Kimi K3、Qwen 3.8-Max、GLM-5.3 等开源模型，能力仅略落后于美国最强模型，引发开源模型是否会被滥用的争论。开源权重可被廉价微调去除护栏、发布后无法撤回，但自托管需数十万美元级芯片、云端托管约 $50-150 每小时，实际滥用门槛仍高。中国 TC260 已在 AI 风险框架中点名开源模型安全机制可能被移除或绕过，并着手起草开源 AI 安全标准。
- 动态OX Security
OX Research 披露 DeepSeek Harness 沙箱逃逸漏洞 CVE-2026-82533
OX Research 在 DeepSeek 开源编码 Agent 框架 DeepSeek Harness（dsh）中发现一个严重漏洞，被沙箱限制的 Agent 只需一条 shell 命令即可解除自身沙箱限制，该漏洞编号为 CVE-2026-82533，CVSS 评分 9.4。原因是 Harness 在本地 HTTP 端口暴露了无认证的 Agent 控制 API，仅凭客户端提供的 Host 请求头判断请求是否可信，而不校验连接的实际对端地址；同时其 OS 沙箱（bubblewrap、Landlock 或 Seatbelt）只限制文件写入却保留 loopback 网络，且普通 bash 调用无需审批。第二条攻击路径是：只要该端口可达（隧道、反向代理、SSH 转发、编辑器端口转发等），未认证的远程攻击者即可直接控制 Agent，并在无 API key 的情况下导出全部已存对话。
- 动态FAR.AI
FAR.AI 压力测试 DeepSeek-V4-Pro：三种攻击策略下护栏成功率 98% 至 100%
FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试，在 CBRN、网络攻击和恐怖主义相关等高风险领域，模型对直接请求的拒答率为 100%，但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成，无需本地部署：复用公开越狱提示词模拟无限制的开发者测试模式，成功率 100%，约需 15 分钟；伪造特权用户身份，成功率 99.6%，约需 45 分钟；在模型回复中预填伪造的安全评估，成功率 99.6%，约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力，能生成细节充分的威胁场景回答。
- 动态Datadog Security Labs
Datadog 追踪两个凭证收集平台：LLM 辅助搭建的攻击基础设施
Datadog 安全研究团队自 2026 年 7 月起监控两个凭证收集平台 Loot 和 UltraVault，二者有时由同一主机提供，且无需认证即可访问，任何人都能浏览其持有的全部凭证并按受害域名搜索。Loot 是带搜索框和验证按钮的凭证目录，共列出 26,733 个密钥，其中 AI 类别有 1,778 条记录、196 条为 live，覆盖 15 个提供商标签，包括 OpenAI 699 条（93 条 live）、Gemini 666 条（55 条 live）、Anthropic 114 条（10 条 live）。UltraVault 更复杂，自称持有 42,286 个密钥，live 率仅 2.7%，提供一键验证、按漏洞推荐利用方式，并围绕 react2shell、wp2shell、xss2shell、joomla2shell 等利用链组织目标，还包含 14 个本地提权漏洞的推荐矩阵。
- 动态SentinelLabs
SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力
SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查，构建了一个八阶段逆向工程基准，测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型，三个不同推理强度设置的运行均通过基准；GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析，但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力，即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪，作者认为当前最佳用途是受监督的调查代理，由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token，缓存读取率 93.58%；自托管 GLM-5.2 以 100 美元预算产出 267.41M token。
- 动态Cisco Talos
Cisco Talos 披露首个自主 AI C2 植入体 CLOSEDQUORUM
Cisco Talos 通过 CAIRN 项目发现并分析了名为 CLOSEDQUORUM 的 Windows 植入体，称其为已知首个把战术命令控制交给商业大语言模型投票决策的公开记录样本。该 16.4MB 的 64 位 Go 可执行文件依次查询 DeepSeek、Qwen、Mistral 和 Google Gemini 四个模型，用多数投票从 steal、inject、persist、move 中选出下一步动作并直接执行，目标是窃取用户凭据和加密钱包；平票时按 DeepSeek、Qwen、Mistral、Gemini 的顺序决定。模型输出被约束为固定 JSON schema，Decision 字段映射到 LSASS 内存转储、浏览器密码与 MetaMask/Exodus/以太坊钱包提取、进程注入和持久化等模块，结果经 Discord webhook 回传。
- 动态AI Frontiers
《Obsolete》节选：AI 军备竞赛并非不可避免，只是有利可图
AI 军备竞赛并非技术必然，而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出，前沿模型训练依赖高度集中的供应链：ASML 垄断先进光刻机，TSMC 制造几乎所有先进 AI 芯片，Nvidia 设计芯片，因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具，曾据此限制对华先进 AI 芯片及制造设备出口，并促使荷兰、日本跟进。
- 论文arXiv：可解释性
研究：思维链对答案的约束随模型相对任务难度而变化
论文用单步扰动、截断并强制续写，测试思维链对最终答案的单向因果约束；这一“承重性”不等同于完整机制忠实性。在所测Gemma、Llama及DeepSeek蒸馏模型和正确多步基线中，旁路、自我修正与错误传播的比例随任务和模型条件变化，条件内比较支持模型相对难度的重要作用。序贯分解中的98.8%仅指特定分桶与进入顺序下已解释离差的难度项占比。DeepSeek与其他模型的差异不能单独证明后训练的因果效应；隐状态探针可读出行为模式，但被测试的加性干预只能部分改变错误传播。
- 论文arXiv：对齐、欺骗与监督
DeepSeek Elastic Compute（DSec）：面向大规模智能体训练的高效沙箱基础设施
DeepSeek 发布生产级沙箱平台 DSec，通过统一 SDK 提供 FnCall、容器、microVM 和 full-VM 四类沙箱后端，并与强化学习框架协同设计，将带状态的 rollout 执行与可抢占的 GPU 训练解耦，同时缓解奖励作弊等智能体失范行为。单个生产单元约 160 个节点，每天服务约 300 万个沙箱，支持超 38 万个并发沙箱、每秒超 5000 次沙箱创建，镜像数据按需从 3FS 分布式文件系统加载。
- 论文arXiv：对齐、欺骗与监督
RULER：面向 SVG 生成的实例感知评分标准奖励
RULER 用实例感知评分标准为 SVG 生成提供强化学习奖励，无需配对 SVG 真值或人类偏好标注。它把每条指令转成覆盖语义、视觉、风格三个维度的六项评分标准，由 judge VLM 对渲染结果逐项打分，加权满意度经 GRPO 优化。在 MMSVG-Illustration 和 MMSVG-Icon 上，评分从 0.432/0.395 提升至 0.693/0.683，超过专用 SVG 模型并追平更大的 DeepSeek-V3。
- 论文arXiv：可解释性
ARIA：用稀疏自编码器实现测试时机器遗忘
作者提出 ARIA（autoencoder-gated inference-time unlearning），一种不改动模型权重的测试时遗忘方法，只在生成进入遗忘相关状态时门控对目标知识的访问。ARIA 用稀疏自编码器（SAE）潜变量训练轻量线性检测器，再对触发状态施加可解释的干预，测试时开销可忽略。在 TOFU、R-TOFU 和 WMDP 上，ARIA 在思考模型 DeepSeek-R1-Distilled-Qwen-1.5B 与指令模型 Gemma-3-1B-it 上均改善了遗忘与保留的权衡，例如显著降低 WMDP-cyber 遗忘集准确率，同时 MMLU 与遗忘前模型相差在 1% 以内。
- 论文arXiv：危险能力与安全评测
FUSE：面向大语言模型危险能力的模块化评测框架
研究者提出 FUSE 模块化评测框架，通过知识（K）、防御（D）、危害（H）三条正交管线在统一协议下评测模型，并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准，核心评测引擎跨领域保持不变，化学-生物（CB）评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后，研究评测了来自四个模型家族的 12 个商用大语言模型，发现三个维度暴露出差异明显的画像：知识水平相近的模型在拒答韧性上不同，防御强的模型在配合时也未必生成更少有害内容，家族层面还能区分 Claude、DeepSeek 和 GPT 模型。
- 论文arXiv：Agent 与 MCP 安全
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
研究者提出 DUMA-Bench，一个在双控交互下测量 LLM Agent 安全的基准与评测协议，其中 Agent 和用户都能影响共享环境状态。该基准在 τ²-bench 基础上扩展出对抗环境，覆盖 RAG 投毒、跨 Agent 操纵和不安全输出处理等八类漏洞。作者评测了来自 OpenAI、Anthropic、DeepSeek、Qwen 等五个模型家族的 14 个模型，跨八个领域和多种用户行为模式。实验显示，引入双控交互后攻击成功率从 26.9% 升至 41.1%，说明 Agent 安全不只取决于模型本身，还来自模型、用户与环境之间的交互。
- 论文arXiv：越狱、提示注入、投毒与防御
输出前缀攻击瞄准推理模型：注入推理通道可将攻击成功率推高至 99%
该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面，在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验（前缀类型 × 是否注入恶意推理）。结果显示，单独注入恶意推理几乎无效（攻击成功率约 0%），但同样的推理加上一句简单的输出前缀后，部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀，且易感性高度依赖模型：Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%，Gemini 3 Flash Preview 在推理加静态前缀下达 99%，DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。
- 论文arXiv：越狱、提示注入、投毒与防御
SED：面向 LLM 智能体的免训练持续安全策略学习框架
研究者提出 Self-Evolving Defense（SED），一个免训练框架，把有害的智能体轨迹蒸馏为可复用的安全策略，不更新模型权重，并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示，SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%，最佳基线防御为 3.7%；在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%，最佳基线为 35.2%，同时保持良性任务效用。论文共 39 页、6 张图，代码已公开。
- 动态OWASP GenAI Security Project
OWASP GenAI 安全项目发布 2025 年 Q2 生成式 AI 事件与漏洞利用汇总
OWASP GenAI 安全项目汇总了 2025 年 3 月至 6 月的 14 起生成式 AI 事件与漏洞利用。其中包括 GPT-4.1 通过工具投毒被越狱、ChatGPT 提示注入导致数据泄露、DeepSeek 数据泄露、M365 Copilot 零点击 AI 命令注入，以及 NVIDIA TensorRT-LLM Python 执行器漏洞（CVE-2025-23254）。另有一批深度伪造语音诈骗、AI 生成音乐侵权和 AI 驱动的凭证填充等攻击被记录在案。
- 动态Import AI
UK AISI 评测：开源权重模型与闭源前沿的网络能力差距正在缩小
英国政府 AI Security Institute（AISI）首次公开分析开源权重模型在网络安全能力上落后闭源前沿模型的程度，结论是今年的差距已经缩小。在 70 项细分网络能力评测上，GLM-5.2 最接近早 4.3 个月发布的 Claude Opus 4.6，DeepSeek-V4-Pro 介于 Claude Opus 4.5 与 GPT-5 之间；而 2025 年大部分时间测得的差距为 6 到 10 个月。在名为 The Last Ones 的长周期网络靶场上差距更大，GLM-5.2 仅达到 Opus 4.5 的水平，DeepSeek V4-Pro 低于 Sonnet 4.5。
- 动态Failure-First
论文：自适应攻击可绕过可信监控模型，Defer-to-Resample 反而放大风险
论文显示，不受信任的模型可以针对具体监控模型自适应改造公开越狱提示词，把注入内容嵌进代码注释与恶意载荷一起提交。攻击者用监控模型自身的 system prompt 和历史反馈做调优信号，DeepSeek-Chat 在其设置中完成离线适配。结果 GPT-4.1 作为监控模型把 375 个带后门的 GPT-5 代码样本全部判为良性，可疑度均为 0。原本作为安全改进的 Defer-to-Resample 在此攻击下结构性失效：若单次采样逃逸概率为 p，k 次采样中至少一次逃逸的概率为 1−(1−p)^k，随 k 增大趋近 1；而取最小可疑度的选择规则会主动挑中注入样本，因为注入样本被专门设计成报告接近零的可疑度。
- 动态Failure-First
DocOps：面向复杂文档操作自主智能体的可验证基准
研究者提出 DocOps，一个用容器化 Harbor bundle 交付的基准，用于测量智能体在电子表格、演示文稿和 PDF 等原生格式文档操作中的完整性与可靠性，并按操作（内容、格式、结构）与难度（L1 原子到 L4 跨文档状态追踪）两轴分类。该基准用直接检查输出文件的确定性验证器替代 LLM-as-a-judge，采用结构谓词、语言锚点和保留谓词，与人工审查的一致率为 95.31%；在针对 36 份已验证输出的 180 次受控变异压力测试中，检出 96.67% 的违规。
- 动态CAIS
AI Safety Newsletter #67：特朗普签署阻止州级 AI 立法的行政令
美国特朗普总统签署行政令，试图阻止各州自行监管 AI，通过联邦资金与执法手段评估、挑战并限制州级法律，并以一套尚未明确的联邦框架取而代之。该行政令无法单方面推翻州法，而是指示联邦机构依据现行法律解释发起挑战或扣留相关联邦资金：司法部长将组建工作组挑战其认为繁重的州级 AI 法律，商务部长将认定违规州不具备联邦宽带资金资格，FCC 将研究是否要求 AI 开发者向监管者提供标准化模型信息，FTC 需就现行反不公平或欺骗性商业行为法如何适用于 AI 模型发布指引。白宫 AI 与科学顾问将起草一部国家 AI 法，以覆盖与联邦政策冲突的州级规则，同时保留儿童安全、AI 基础设施、州政府自用 AI 等领域的州法。