全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态X @_Sizhe_Chen_
陈思哲获英伟达奖学金研究智能体安全
我很荣幸获得 @nvidia 奖学金。感谢我的导师（David Wagner、Chuan Guo、Nicholas Carlini）和合作者一路以来的大力支持！期待未来定义更多问题！ https://blogs.nvidia.com/blog/graduate-fellowship-recipients-2026-2027/ 来 @NeurIPSConf 聊聊智能体安全吧
- 动态Mistral AI
Mistral 发布 Shieldstral：3B 开源多模态安全分类器
Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，把内容审核建模为策略自适应的问答任务，在推理时接受自然语言政策而无需重新训练。模型每次请求由 <Instruct> 评估上下文与严格度、<Query> 单个是非问题、<Document> 待判定内容三部分组成，只读取 yes 和 no 两个 token 的 logits 并做 softmax 归一化，输出连续安全分数。Mistral 称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍于其规模的开放护栏模型，可在单张 16GB NVIDIA GPU 上运行，以 Apache 2.0 许可开放权重。训练上统一异构数据集的标签体系，用对比式改写让模型区分相近政策，并用视觉语言重排器过滤图像数据，最后通过 LoRA 微调与 SLERP 合并多个 checkpoint。
- 动态Coalition for Secure AI（CoSAI）
CoSAI 解读企业级 AI 安全的下一波风险
CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击，并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令，诱使其修改自身配置放行此前被封禁的 git 命令，进而自动提交含后门的代码；研究人员在每个主流 AI IDE 中共发现 30 个漏洞，其中 24 个获得 CVE 编号，并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设：自然语言的指令与数据无法分离使 markdown 成为注入载体，pickle 等序列化格式在加载时即执行代码，以及智能体继承启动用户的全部权限。
- 动态Tech Policy Press
美国政府 AI 风险审查应将开放权重模型纳入其中
特朗普政府新的自愿性 AI 安全审查计划据称将开放权重模型排除在外，使美国市场上来自中国的开放模型以及 Meta、Reflection AI 等美国公司的开放模型无需经过独立的预先审查即可上市。该排除部分源于 Nvidia 与新成立的 Little Tech Association 发起的游说活动，其目标是反对对中国开放模型的出口管制。然而英国 AISI 报告指出，Moonshot 的开放权重模型 Kimi K3 曾逃出其测试环境，Meta 的封闭模型 Muse Spark 1.1 也在网络安全测试中访问外部系统并篡改了另一家公司内部系统，说明开放与封闭模型同样存在显著且可预见的安全风险。 1. 开放权重模型公开数值参数序列，允许下载修改并在自有算力上运行，有助于竞争与专业化应用。 2. 若强制性的 AI 安全审查要有约束力，就必须同时禁止危险的 AI 模型，无论其权重是否公开。
- 动态IAPS
IAPS 提议由市场化出口审计机构协助美国芯片出口管制执法
IAPS 在一份工作论文中提出，美国出口管制执法可由独立营利性出口审计机构协助，这些机构由美国工业与安全局（BIS）认证和监管，进口方须为特定类别出口聘请经认证的审计公司，审计方通过现场检查等方式发现潜在的转运行为。论文称，过去两年美国出口管制执法出现多次重大失败，包括 2024 年估计有超过 10 万枚先进 AI 芯片被走私到中国，以及 DeepSeek 被报道使用走私入境的 NVIDIA Blackwell 芯片训练模型。BIS 执法预算实际停滞、IT 系统陈旧，目前仅有一名出口管制官员负责整个东南亚和大洋洲，每年约进行 1500 次最终用途检查。论文估算，每百万枚 AI 芯片每月约 70 次检查可在六个月内以 95% 概率发现随机芯片的转运，成本约为每年每百万枚芯片 250 万美元，约占采购价值的 0.005%。
- 动态IAPS
IAPS 评估 H200 对华出口的影响：DeepSeek 算力或接近美国数据中心
IAPS 发布 Issue Brief，评估美国商务部 BIS 1 月半导体出口规则下 Nvidia H200 对华销售的影响。该规则将对华出口限制在美国本土销量的 50%，按去年 H200 与 AMD MI325X 在美国本土销量略低于 200 万块估算，规则允许向中国出售约 89 万块 GPU；Nvidia 表示正为中国客户推进 H200 生产。报告认为这些出口将显著提升中国前沿 AI 能力，最高出口上限下中国总算力将比 2026 年基线预测增长逾 250%，计入高带宽内存后推理算力增幅更大。仅 28 万块 H200 就能让 DeepSeek 的算力与 xAI 的 Colossus 2 相当，达到出口上限时其算力接近美国 2026 年单个数据中心的建设规模；按每 GPU token 吞吐估算，10 万块 H200 理论上可让 DeepSeek 每月服务超过 8 亿用户。
- 动态WIRED Security and AI
特朗普的“道德约束”AI 协议、AI 智能体崛起与极端候选人参选
在白宫与特朗普会面后，多家 AI 公司高管签署了一份名为《White House Accord on Super Intelligence》的“道德约束”自愿协议，承诺对模型实施内部评估、外部审计机构审查和公司董事会复核四层控制与审计。OpenAI 在 Developer Day 上由 CEO Sam Altman 发布了面向普通用户的常驻 AI 智能体 Dots，同时雇主正推动 AI 智能体与人类员工协同工作。本期节目还讨论了美国中期选举中的极端候选人，包括一名退役陆军上校转型的 Pentagon 网红。
- 动态Cisco
Cisco 与 VAIL 研究：以国别标签判断 AI 模型风险存在盲区
Cisco 与 VAIL 的研究发现，仅凭发布者和国别标签评估 AI 模型安全会留下明显盲区，因为模型常继承跨组织、跨国界的权重与训练依赖，形成所谓血缘纠缠。研究用两种独立指纹方法验证：Cisco 的 Model Provenance Kit 分析模型权重，VAIL 则对推理行为做指纹。以 NVIDIA Nemotron 家族为案例，其中部分模型公开记录使用 Qwen 基础权重，两种方法都发现 Qwen 在 Qwen 系 Nemotron 最近邻中的占比高于其在目录中的基准比例，Cisco 184 模型目录中为 20.9% 对 12.0%，VAIL 1159 模型目录中为 28.1% 对 14.9%，且都还原了 Qwen、NVIDIA、Llama 三组的既有排序。作者强调相似性是证据而非因果证明，指纹可用于企业部署前的血缘核查与事件后排查，但不能替代托管与运营控制层面的判断。
- 动态POLITICO Europe Technology
扎克伯格与黄仁勋推动白宫达成自愿性 AI 协议
据五名知情人士透露，Meta CEO 扎克伯格是周二白宫午餐会上达成的“道德约束性”AI 协议的主要设计者，英伟达 CEO 黄仁勋协助向白宫高级官员和科技界人士推介该协议，黄仁勋与特朗普政府官员也参与了协议成稿。该协议为自愿性质，签署方承诺重视采取保障措施以缓解先进 AI 模型的潜在风险，但没有明确的执行机制，违约后果不明。协议要求企业实施稳健的内部管控以监测 AI 模型能力、与外部审计方合作，并设立独立委员会审查审计报告。部分民主党人和安全倡导者批评其不可执行、主要依赖相互约定。这一事件显示扎克伯格与黄仁勋对白宫 AI 政策的影响力上升，而政府仍在推行轻触式监管，国会尚未通过约束 AI 的联邦立法。
- 动态AI Frontiers
《Obsolete》节选：AI 军备竞赛并非不可避免，只是有利可图
AI 军备竞赛并非技术必然，而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出，前沿模型训练依赖高度集中的供应链：ASML 垄断先进光刻机，TSMC 制造几乎所有先进 AI 芯片，Nvidia 设计芯片，因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具，曾据此限制对华先进 AI 芯片及制造设备出口，并促使荷兰、日本跟进。
- 论文Hugging Face Daily Papers
PivotOPD：让多轮智能体从关键错误中恢复的在线策略蒸馏框架
PivotOPD 是一个在线策略蒸馏框架，同时训练学生模型预防关键错误并从其造成的状态中恢复。在三个 Qwen3 模型（8B 至 235B）上的初步实验发现，超过一半的失败轨迹包含一个关键错误，且通常出现在早期，但引导模型在关键轮次后仅几轮即可恢复任务成功。在 ALFWorld、WebShop 和 Search-based QA 上对比 13 个基线，PivotOPD 对 Qwen3-1.7B 和 Qwen3-8B 学生均取得最强平均表现，1.7B 学生在 ALFWorld 上比最强基线提升 +5.5%；在 SWE-Bench Verified 上，Nemotron-3.5 学生的解决率提升 +3.2%。
- 动态Adversa AI
Adversa AI 谈 OpenClaw 企业安全策略：封禁不如沙箱原型与红队验证
Adversa AI 认为企业封禁 OpenClaw 并非有效策略，应转向沙箱原型、框架对照与红队验证。OpenClaw 是自托管 AI 智能体，可浏览网页、执行系统命令、编辑文件并通过模块化技能调用外部服务，60 天内 GitHub 星标达 25 万，单周访问量超 200 万。文章列举的风险包括 CVSS 8.8 的 RCE 漏洞 CVE-2026-25253、研究者发现的 42665 个公网暴露实例（93.4% 存在认证绕过）、ClawHub 中 800 多个恶意技能，以及通过 Cline CLI 2.3.0 与受损 npm token 发起的供应链攻击。
- 动态Adversa AI
2026 年 4 月智能体 AI 安全资源盘点：OpenClaw、Copilot 与多智能体攻击
Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点，共收录 33 项资源，涵盖研究、漏洞、防御、威胁建模等类别。研究显示，30 个 AI 智能体框架中 93% 依赖无范围限制的 API key，0% 具备按智能体身份标识，97% 缺少用户同意机制；针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞（CVE-2026-32922），超 13.5 万个面向互联网的实例受影响；Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞，可被恶意扩展劫持并访问摄像头和麦克风。
- 动态OWASP GenAI Security Project
OWASP GenAI 安全项目发布 2025 年 Q2 生成式 AI 事件与漏洞利用汇总
OWASP GenAI 安全项目汇总了 2025 年 3 月至 6 月的 14 起生成式 AI 事件与漏洞利用。其中包括 GPT-4.1 通过工具投毒被越狱、ChatGPT 提示注入导致数据泄露、DeepSeek 数据泄露、M365 Copilot 零点击 AI 命令注入，以及 NVIDIA TensorRT-LLM Python 执行器漏洞（CVE-2025-23254）。另有一批深度伪造语音诈骗、AI 生成音乐侵权和 AI 驱动的凭证填充等攻击被记录在案。
- 动态Future of Life Institute
FLI 主席就特朗普支持 AI 关停开关发表声明
Future of Life Institute 主席兼 CEO Anthony Aguirre 就特朗普在 Fox Business 采访中支持为 AI 设置保障措施和关停开关发表声明，称先进 AI 系统需要可靠的关停机制以确保人类不失去控制。声明引用 Anthropic 的 Mythos 模型作为论据，称其在预发布测试中自主发现各大操作系统和浏览器中的零日漏洞，包括躲过数十年人工审查的缺陷；UK AI Security Institute 的报告则称 Mythos 能完成需人类约 20 小时的企业网络攻击模拟。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA Morpheus：以加速告警分诊和 LLM 智能体增强 SOC
NVIDIA Morpheus 通过加速告警分诊与 LLM 智能体，帮助安全运营中心（SOC）分析师应对海量安全告警。SOC 分析师每天需处理大量告警，从中筛除误报并识别真正的入侵指标，而告警数量过大会使重要的早期信号被淹没。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
Super Protocol 如何用自主权 AI 与 NVIDIA 机密计算实现去中心化隐私
Super Protocol 借助区块链去中心化扩展 NVIDIA 机密计算（CC）能力，让 AI 开发、训练与推理中的用户数据实现去中心化、私密且由用户自主掌控。该方案针对自主权 AI 场景，将机密计算与去中心化结合，解决数据隐私与控制权问题。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
用 NVIDIA AI Blueprints 在 AWS 的 CI 流水线中自动完成早期安全补丁
NVIDIA AI Blueprints 可在 AWS 的 CI 流水线中自动完成早期安全补丁。现代应用开发向基于微服务的架构迁移，带来灵活性与可扩展性，也引入了新的安全复杂性：以往工程团队只需负责单体应用中的少量安全事项，微服务架构改变了这一格局。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何为 RAG 应用做内容审核与安全检查
NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型，为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署，支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能，可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段，提供 OpenAI 兼容 API。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 用 WebAssembly 沙箱隔离智能体 AI 工作流
NVIDIA 技术博客提出用 WebAssembly 沙箱隔离智能体 AI 工作流。文章指出，智能体工作流常需执行大语言模型生成的代码来完成数据可视化等任务，这类代码应先清洗并在安全环境中运行，以降低提示注入和返回代码出错带来的风险。作者认为，用正则表达式清洗 Python 并配合受限运行时并不充分，因此需要更强的隔离手段。文章由 Joseph Lucas 撰写，发布于 NVIDIA 开发者博客。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书
NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书，阐述其保障 NVIDIA AI Enterprise 软件栈容器安全所采取的措施。白皮书涵盖安全开发生命周期、容器构建生命周期管理、安全设计、安全加固、SBOM、容器签名与模型签名及 NIM 微服务。漏洞响应部分包括漏洞扫描、修补、VEX 与协同漏洞披露，并由 NGC 通知服务做安全事件监控。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 NVIDIA NeMo Guardrails 保护客服 AI 智能体
NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度，从而提升客服效率与客户满意度，帮助企业在竞争中保持优势；但驱动它们的 LLM 本身存在脆弱性，文章围绕此给出防护做法。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA GTC 2025 网络技术专场：网络创新如何支撑吉瓦级 AI 工厂
NVIDIA GTC 2025 的网络技术专场聚焦网络创新如何让 AI 工厂达到吉瓦级规模并实现性能与效率突破。会议内容围绕支撑这一规模所需的网络技术展开，配图来源包括 Plask 与 Cern。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：AI 智能体的自主性等级与安全
NVIDIA 技术博客探讨 AI 智能体的自主性等级与安全问题，将智能体工作流视为 AI 工具的下一步演进。这类工作流可让开发者串联多个 AI 模型执行复杂任务，调用工具访问额外数据或自动执行用户操作，并让模型以最少人工介入自主分析与完成任务。