全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Datadog Security Labs
Cemu 官方 GitHub Release 被植入后门，与 TanStack、Mistral 供应链攻击同源
Datadog Security Labs 发现，5 月 11 日一场协同供应链攻击在五小时内污染了 npm 和 PyPI 上 170 个合法软件包，包括 @tanstack/react-router 的恶意版本和 PyPI 上的 mistralai==2.4.6；调查中进一步发现 Cemu 官方 GitHub Release 页面上的 Linux 资产也被替换为带后门的版本。Cemu-2.6-x86_64.AppImage 内嵌了与 npm 攻击中 transformers.pyz 字节完全一致的 startup.pyz，该文件在合法 Cemu 构建中并不存在。Cemu 维护者 Exzap 确认 MangelSpec 是长期共同作者，其账号或 token 遭入侵，并已移除其仓库访问权限。Ubuntu 版本还加入 /tmp/.transformers 标记文件实现两阶段执行以规避沙箱检测。
- 论文arXiv：防御、护栏、反学习与有害微调
研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘
研究指出在一种语言中遗忘某个事实并不能保证它在其他语言中也被移除，改变提问语言或要求回答的语言就能重新调出看似已遗忘的知识，形成跨语言漏洞。为此作者提出语言预算多语言遗忘任务，即选择一组语言子集以最大化跨语言擦除效果，并构建了覆盖 174 个语言-文字对、25 种原子改写类型的 Cross-Lingual Unlearning Tensor 基准。他们进一步提出 COVER，通过选择源语言来最大化对未接受遗忘监督语言的预测覆盖。实验发现，简单挑选单个强源语言并不能可靠组合成强源语言集合。在部署阶段，COVER 只需良性校准数据和访问冻结模型；在三个模型家族和两个不相交遗忘集上，COVER 相比均匀源选择将平均留出残留访问降低 7.8%–27.3%，并在低资源语言场景下用 LORELEI 语料的人工翻译数据验证了效果可扩展到真实新闻文档。
- 动态安远AI
安远AI发布前沿AI风险监测平台并给出十大关键洞察
安远AI于2025年11月7日发布国内首个前沿AI风险监测平台，并同步发布首份前沿AI风险监测报告（2025Q3），追踪全球15家领先AI公司的50个前沿模型在网络攻击、生物风险、化学风险和失控四个领域的潜在灾难性风险。报告称过去一年四类风险指数持续上升，网络攻击领域累积最大风险指数上升31%，生物风险上升38%，化学风险上升17%，失控上升50%。报告还指出推理模型能力分远高于非推理模型但安全水平大致相同，开源与闭源模型在多数领域的能力-安全分布无显著差异，生物风险领域开源模型能力明显偏弱。在具体基准上，CyberSecEval2-VulnerabilityExploit最高分从55.4升至91.7，BioLP-Bench中包括o4-mini在内的四个模型表现优于人类专家，而多数模型对有害生物问题的拒绝率偏低。
- 动态安远AI
安远AI发布2025Q4前沿AI风险监测报告：Gemini生物能力提升，豆包、混元、MiniMax安全性改善
安远AI前沿AI风险监测平台于2026年3月3日发布第二期《前沿AI风险监测报告(2025Q4)》，监测2025年第四季度发布的13个模型（含GPT-5.2、Gemini 3 Pro Preview、Claude Opus 4.5、DeepSeek V3.2、Kimi K2 Thinking、Doubao Seed 1.8、MiniMax M2、HY 2.0 Think等）在网络攻击、生物风险、化学风险和失控四个领域的表现。报告称各领域风险指数在2025年末趋于平稳，未创新高，但模型系列趋势分化：GPT与Claude系列维持低位，DeepSeek系列稳定在高位，Doubao、Hunyuan、MiniMax系列显著下降，Gemini在生物与失控领域、Kimi在网络攻击与失控领域上升。安全分整体显著提升，以Doubao、Hunyuan、MiniMax提升最明显。
- 动态Tech Policy Press
大学需要 AI 基础设施，但不需要 AI 锁定
英国 Universities UK 呼吁向每位本科生开放 AI 工具，澳大利亚 UNSW Sydney 则为逾 80000 名学生和教职工部署 ChatGPT Edu，教育界正从讨论 AI 转向采购 AI。UNESCO 九月 Digital Learning Week 上，各国教育部长要求在教学中使用的 AI 系统可审计、数据可迁移并考虑总体拥有成本，其声明倾向互操作性、可移植性与开源系统。UNSW 在大规模 OpenAI 部署之外同步开发多模型环境，让学生和员工试验不同 AI 系统，以避免因工作流、定制助手和制度知识沉淀而被单一供应商锁定。
- 动态Thinking Machines
Thinking Machines 提出开源权重模型的安全发布路径
Thinking Machines 发布文章阐述开源权重模型的安全发布路径，并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态：对模型做稳健安全测试，并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦；对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试（Scale AI、Handshake AI、FAR.AI、Apollo Research），以及去除拒答行为的对抗微调实验；结果显示两个模型未扩展危险能力前沿，也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径，并计划发布更详细的评估、准入标准与停止条件框架，同时将推出 Tinker 安全资助。
- 动态安远AI
Concordia AI 发布《中国 AI 安全现状（2026）》报告及配套交互网站
Concordia AI 发布《中国 AI 安全现状（2026）》年度报告，覆盖 2025 年 7 月至 2026 年 6 月中国在通用 AI 安全方面的进展，并上线配套交互网站。报告分国内治理、国际治理、技术安全研究、专家观点与产业治理五个领域。国内治理方面，2026 年 3 月确立的“十五五”规划（2026–2030）将“AI+”作为总体政策，同时强调风险预警与应急响应，并关注 AI 对就业的影响；开源智能体 OpenClaw 在 2026 年初扩散后，多家网络安全机构发布警告，2026 年 5 月国家网信办等三部门发布智能体专项指引，提出基于风险的治理思路。国际治理方面，中国支持联合国 AI 科学小组与全球 AI 治理对话两个新机制，并提出世界 AI 合作组织（WAICO）设想，同时与美国启动政府间 AI 对话，结束两年的官方双边冻结。
- 动态安远AI
2026 WAIC 上的中国 AI 安全动向：习近平讲话、主席声明与 WAICO 成立
2026 年世界人工智能大会（WAIC）在 AI 安全方面出现三项进展：习近平首次出席并发表其迄今最强调安全的 AI 公开讲话，大会主席声明首次在高规格中国政府文件中单列前沿模型网络安全风险，全球首个专注 AI 的政府间组织 WAICO 成立。习近平在开幕演讲中三次提到失控风险，并提及 AI 滥用问题，要求 AI 始终处于人类控制之下，同时宣布未来五年向发展中国家提供 5000 个 AI 培训与研讨机会、设立国际 AI 应用合作中心、帮助 30 个国家使用中国 AI 气象预警系统 MAZU。15 点主席声明由主办方以自身名义发布，非与会 100 多个国家和组织共同通过，其中要求前沿模型配备必要护栏、AI 智能体须有明确决策边界与行为追溯机制，并呼吁各国共同防范恐怖主义等滥用。
- 动态安远AI
2026 WAIC 上海前沿与智能体 AI 安全论坛要点总结
2026 年 7 月 19 日，Concordia AI 在上海世界人工智能大会（WAIC）举办前沿与智能体 AI 安全论坛，约 30 位专家参会、现场约 300 名观众，直播观看量超 30 万。图灵奖得主 Yoshua Bengio 在主题演讲中指出 AI 在推理、编程、科学与自主智能体能力上快速进步，而安全措施未能同步，并强调开放权重模型在撤回部署、移除护栏与风险评估上的独特挑战。论坛围绕前沿 AI 风险监测、智能体 AI 全生命周期安全治理与全球治理视角三大主题展开。
- 动态安远AI
中国网信办官员警示 AI 失控与生物风险，Z.AI 首次因安全推迟 GLM-5.3 权重发布
中国网信办高级官员王丽宏在 9 月 1 日的发布会上提出 AI 治理的五项挑战，包括算法不可靠、编码能力降低网络攻击门槛、自主智能体、滥用与恶意使用，以及技术霸权，并特别警示“极端失控风险”和生物学与遗传学领域的研究伦理红线。简报认为这是网信办官员首次如此突出地把生物与遗传学列为 AI 风险领域，此前该风险多出现在标准文件中。中美据报正准备举行两年多来首次政府间 AI 对话，习近平与特朗普预计 9 月 24 日在华盛顿会面；玉渊谭天发文质疑美国单方面界定前沿模型风险阈值的权力，并称 Anthropic 已成为 AI 治理的规则制定者。TC260 预计在 9 月 14 至 20 日的国家网络安全宣传周发布更新版 AI 安全治理框架。
- 动态安远AI
中国开源最强 AI 模型，安全吗？
中国实验室今年夏天发布 Kimi K3、Qwen 3.8-Max、GLM-5.3 等开源模型，能力仅略落后于美国最强模型，引发开源模型是否会被滥用的争论。开源权重可被廉价微调去除护栏、发布后无法撤回，但自托管需数十万美元级芯片、云端托管约 $50-150 每小时，实际滥用门槛仍高。中国 TC260 已在 AI 风险框架中点名开源模型安全机制可能被移除或绕过，并着手起草开源 AI 安全标准。
- 动态Check Point Research
Check Point 逆向 Windows Defender BTR.sys 驱动，将其改造为内核操作原语
Check Point 逆向 Windows Defender 的 Boot-Time Removal 驱动 BTR.sys，发现其通过注册表 Args 指向的 ADS 中 RC4 加密配置执行文件与注册表操作，无需漏洞或内存破坏即可在 Ring 0 执行任意操作。研究给出完整事务格式，包括 0xFEE1DEAD 魔数、版本 2、~CRC32 完整性校验和硬编码 256 字节 RC4 密钥，并发布 MIT 许可的 BTR_CLI 工具构造合法加密事务。利用该驱动在 Phase 1 的 Boot Bus Extender 组加载时机，可在用户态安全服务启动前删除 WdFilter.sys、MsMpEng.exe 等 Defender 二进制并绕过 Tamper Protection，测试覆盖 Windows 7 至 Windows 11 25H2。
- 动态FAR.AI
FAR.AI 压力测试 DeepSeek-V4-Pro：三种攻击策略下护栏成功率 98% 至 100%
FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试，在 CBRN、网络攻击和恐怖主义相关等高风险领域，模型对直接请求的拒答率为 100%，但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成，无需本地部署：复用公开越狱提示词模拟无限制的开发者测试模式，成功率 100%，约需 15 分钟；伪造特权用户身份，成功率 99.6%，约需 45 分钟；在模型回复中预填伪造的安全评估，成功率 99.6%，约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力，能生成细节充分的威胁场景回答。
- 动态Cisco
Foundation AI 发布 Antares 系列模型与安全推理基准
Foundation AI 发布 Antares 系列开放权重模型（350M、1B、3B），专用于智能体漏洞定位：仅凭 CWE 描述和仓库只读权限即可定位漏洞所在文件，其中 3B 模型性能对标 GPT-5.5，且可本地运行。Antares-350M 与 Antares-1B 已公开，一个月内在 Hugging Face 下载量达 29,800 次。团队还在 FAITH 评测中心新增 CTI-Reasoning 和 CWE-Prediction 两项推理基准，用于衡量模型对安全问题的推理能力而非记忆事实。
- 动态Cisco
Cisco 与 VAIL 研究：以国别标签判断 AI 模型风险存在盲区
Cisco 与 VAIL 的研究发现，仅凭发布者和国别标签评估 AI 模型安全会留下明显盲区，因为模型常继承跨组织、跨国界的权重与训练依赖，形成所谓血缘纠缠。研究用两种独立指纹方法验证：Cisco 的 Model Provenance Kit 分析模型权重，VAIL 则对推理行为做指纹。以 NVIDIA Nemotron 家族为案例，其中部分模型公开记录使用 Qwen 基础权重，两种方法都发现 Qwen 在 Qwen 系 Nemotron 最近邻中的占比高于其在目录中的基准比例，Cisco 184 模型目录中为 20.9% 对 12.0%，VAIL 1159 模型目录中为 28.1% 对 14.9%，且都还原了 Qwen、NVIDIA、Llama 三组的既有排序。作者强调相似性是证据而非因果证明，指纹可用于企业部署前的血缘核查与事件后排查，但不能替代托管与运营控制层面的判断。
- 动态IAPS
IAPS 评估 RASA 法案：建议将云基础设施定义扩展至 PaaS
IAPS 发布关于《远程访问安全法案》（RASA）的政策简报，评估该立法应如何界定范围，并建议参议院文本 S. 3519 扩大对云基础设施的定义。简报指出，美国出口管制限制向中国出售先进 AI 芯片，但未明确覆盖通过云远程租用的同等算力，RASA 将补上 BIS 在这一权限上的缺口。参议院文本目前仅把云基础设施服务定义为 IaaS，只覆盖租用裸金属算力训练模型的实体，却不覆盖同一实体在托管平台服务上训练的情形，IAPS 建议至少纳入有明确边界的 PaaS 定义。简报还提示，若 RASA 像已通过的众议院文本 H.R. 2683 那样延伸到 SaaS，可能赋予 BIS 对访问美国 AI 模型的管制权限；文中提到商务部致 Anthropic 的信函要求 Mythos 5 与 Fable 5 模型出口需许可，但未建立模型专属 ECCN，也未明确是否覆盖通过 SaaS 远程访问模型。
- 论文arXiv：防御、护栏、反学习与有害微调
ShieldCLIP：面向多模态基础模型有害内容的选择性安全对齐
研究提出 ShieldCLIP，首个按每个模态自身安全状态而非样本来源来条件化安全对齐的框架，在保留安全内容的同时只重定向不安全部分。作者同时发布 ViSUv2 数据集，包含 195k 四元组、覆盖 578 个概念和 28 个类别，并为每个模态提供独立安全标签。基于这些标签，ShieldCLIP 定义了四路条件目标：安全内容锚定，不安全模态重定向到对应安全版本，混合样本只更新不安全分支，双模态均不安全时强制一致性。在跨模态检索、Stable Diffusion v1.4 与 SDXL 的文生图以及 LLaVA 的图生文任务上，ShieldCLIP 相比此前的安全对齐编码器和强缓解基线持续减少有害输出，同时保留原始嵌入空间的效用。消融实验显示模态特定监督与选择性对齐目标均有贡献。
- 动态SecureBio
SecureBio 评测 Kimi K3 生物能力：BCI 142，危险提示拒答率仅 26.9%
SecureBio 对 Moonshot AI 的 Kimi K3 做了生物能力与护栏评测，其 Bio Capabilities Index（BCI）得分为 142，在已评测模型中排第七，相当于闭源前沿约 8.1 个月前的水平。知识基准上，Kimi K3 在 Virology Capabilities Test 得 46.7%、Molecular Biology Capabilities Test 得 58.4%、World Class Biology 得 55.0%、Human Pathogen Capabilities Test 得 58.5%，在 MBCT、WCB、VCT 上取得开源权重模型最高分，HPCT 则落后于 GLM-5.2 的 65.3%。
- 论文论文追踪
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。
- 论文Hugging Face Daily Papers
一个 AI token 值多少？研究者为野生 AI 生成网页文本提出新缩放定律
研究者发现，经 FineWeb 质量过滤后，2026 年 6 月网页数据中有 27.5% 的 token 被 Pangram 判定为 AI 生成，到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者、在预训练语料中不带标注。为量化其影响，研究者预训练了 800 个语言模型，改变加入的 AI token 与人类 token 比例，并分别对人类文本和 AI 文本的留出损失拟合缩放定律。结果显示，对数据不足的模型，加入 AI token 起初会降低人类文本损失，但收益很快饱和并转为损害；对使用大量人类文本训练的模型，AI token 几乎立即抬高损失，而同等数量的新鲜人类文本仍能持续降低损失。该定律在小模型上拟合后，可预测最多 3.6 倍大的模型受 AI 文本影响的人类文本留出损失，误差比现有最佳定律低 41%。
- 论文arXiv
FDCU：用双重约束子空间投影抵御机器遗忘后的重训练攻击
研究提出 FDCU，一种双重约束子空间投影框架，用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为，脆弱性来自浅层对齐：模型并未真正擦除目标知识，而是激活原本休眠的参数充当伪抑制器，在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新，用 Fisher Information 保留通用知识流形，并用最小功能干预原则（PMFI）禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上，FDCU 在保持近乎无损通用能力的同时，取得了对重训练攻击的 state-of-the-art 鲁棒性。
- 论文论文追踪
SynthIDBio：为 AI 生成的蛋白质序列与结构嵌入保功能水印
Google DeepMind 团队提出 SynthIDBio，把水印直接嵌入 AI 生成的蛋白质序列与结构，同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN，并增加基于 g 值的过滤以保证可检测性；体外实验显示，针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异，其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器，在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率，且 LDDT 与模板建模分数不下降。
- 论文arXiv
10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘，识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次，三个再分发者（mradermacher、Triangle104、RichardErkhov）占全部压缩再分发的 52%，huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离，至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用，其中 25% 被判定为明确恶意，Dolphin 系列单独支撑 30% 的应用，43% 的应用 README 提到 Ollama。
- 论文arXiv
Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型
Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。