全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Mistral AI
Mistral 与 HUMAIN 达成战略合作推进沙特主权 AI
Mistral 与 HUMAIN 宣布建立覆盖 AI 基础设施、先进模型开发和解决方案落地的战略合作，重点面向网络安全与语音场景，并计划开发阿拉伯语表现强劲的前沿模型，投资规模达数亿欧元级别。双方还将探索使用 HUMAIN 数据中心承载本地算力需求，并在沙特针对金融、制造、电信等行业制定联合市场策略，以满足当地对主权 AI 的需求。
- 动态Mistral AI
Cloudera 与 Mistral 合作将专用主权智能引入企业数据
Mistral 与 Cloudera 达成合作，将其模型集成进 Cloudera 混合数据平台，使企业可在私有云、公有云、本地及完全气隙环境中运行推理并保持完整控制权。双方还允许企业在受控环境内基于自有专有数据训练定制模型，数据和由此产生的智能均归客户所有。该合作面向金融、制造、电信等受监管行业的自主可控需求，覆盖 Cloudera 平台上 30 EB 客户管理数据的场景。
- 动态Mistral AI
Mistral 联手 Mozilla 将开放私密的多语言 AI 带入浏览器
Mistral 与 Mozilla 达成合作，Firefox 的 AI 浏览助手 Smart Window（beta）现由 Mistral 模型驱动，面向法国和北美用户提供复杂搜索解读、找回点击离开的重要信息和基于浏览器标签页的信息溯源等功能，英国和德国预计于今年晚些时候跟进。该助手的对话默认不保存在 Mozilla 服务器上，且 Mistral 承诺零数据留存，双方还针对地区语言和文化语境进行模型微调。
- 论文arXiv：可解释性
研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示
研究者将计算机视觉中的非线性多维概念发现（NLMCD）方法迁移到 token 级 LLM 激活上，把概念建模为低维流形，并提出基于概念的对齐（CBA）分数，用广义 Rand 指数衡量几何接近度而无需显式特征匹配。分析得到六项发现：CBA 在相邻层检验中比基于 PCA 或 CKA 的线性基线更敏感；逐层对齐矩阵在中间层和后期层呈现两个块结构，且被线性指标掩盖；概念组成在网络大部分层由句法主导，后期层逐渐转向句法与语义混合并更面向输出；英语与中文的多语言概念共享依赖训练，在 Qwen 中最强、Llama 较弱、GPT-2 中不存在；同族不同规模的 Qwen 模型对齐较强，跨模型族对齐较弱；在 Tulu-3 各训练阶段中相邻阶段对齐最高，基座模型与 SFT 之间变化最大，DPO 与 RLVR 等偏好对齐阶段基本不改变早期层，RLVR 在后期层大多保留 DPO 的概念。
- 论文arXiv：后门、投毒与隐私
研究者提出用零空间投影净化 LoRA 微调 LLM 的后门
研究者提出一种针对 LoRA 微调大语言模型的后门净化方法，通过零空间投影将攻击成功率从接近 100% 降至 10% 以下。该方法不依赖触发器先验知识、干净参考模型或对可疑参数的重新训练，而是通过数据整理与特征近似提取高保真后门方向，在每一层或每个注意力头的输入与输出通道上构造正交零空间，再将 LoRA 更新投影到该空间。作者通过一系列消融实验，将方法从文本分类的单层设置逐步扩展到生成任务的全参数 LLM，并称在降低攻击成功率的同时保留了基座模型的通用能力和适配器学到的下游技能。
- 论文arXiv：后门、投毒与隐私
NEEDLE：通过权重正交化移除 LLM 后门
研究者提出 NEEDLE，一种免训练的后门定向移除方法。该方法在识别出触发词后，通过激活向量估计后门方向和拒答子空间，再依次施加权重正交化，在压制后门的同时避免改变与拒答相关的表征。NEEDLE 不需要干净参考模型，也不需要原始被投毒的训练数据。在多个模型族和多种攻击类型上的评测中，NEEDLE 取得所评估防御方法中最低的平均攻击成功率，在代码注入类攻击上为 0%，同时 KL 散度最低，能力与安全性的变化也最小。
- 论文arXiv：对齐、欺骗与监督
AuraForge：为训练安全编码 Agent 扩展安全监督
AuraForge 通过合成并验证可执行的安全测试，为训练安全编码 Agent 提供可扩展的安全监督。该方法结合面向攻击的测试合成、可扩展语言的任务构建以及针对奖励作弊的防护。基于此构建的 AuraGym 覆盖 Python、JavaScript 和 TypeScript，包含来自 344 个真实仓库的 679 个可执行功能实现任务，涉及 177 个 CWE 类别。在带有人工安全测试的子集上，AuraForge 平均生成约 3 倍的测试用例，并将误报率降低 83.23%。用合成安全测试训练 Qwen3.5-4B，在三种语言上的提升大于人工安全测试（平均 19.7 FuncPass 和 6.2 SecPass，对比 14.9 FuncPass 和 4.4 SecPass）。
- 动态Tech Policy Press
区分 AI 的技术问题与资本主义问题
AI 是人类首次能大规模在体外完成认知工作的技术，但美国民众以较大差距认为 AI 发展过快且将对社会产生负面影响。文章主张把 AI 的技术问题与其所处的社会政治经济系统分开：模型缺乏上下文、混淆事实、易被小把戏欺骗属于技术问题，OpenAI、Anthropic 等大型开发商已优先解决，使模型能更顺畅访问网络或邮件等资源并更守护栏；而谄媚、过度自信作答，以及收益分配、能耗成本、环境影响和内容收益被侵占，则是资本主义激励问题。文章以医生助手、美国前沿模型的高成本与能耗、中国开发者推出更小更高效模型、瑞士公共机构合作训练的 Apertus 为例，说明技术与社会政治是两条可独立选择的轴。
- 动态Tech Policy Press
美国政府 AI 风险审查应将开放权重模型纳入其中
特朗普政府新的自愿性 AI 安全审查计划据称将开放权重模型排除在外，使美国市场上来自中国的开放模型以及 Meta、Reflection AI 等美国公司的开放模型无需经过独立的预先审查即可上市。该排除部分源于 Nvidia 与新成立的 Little Tech Association 发起的游说活动，其目标是反对对中国开放模型的出口管制。然而英国 AISI 报告指出，Moonshot 的开放权重模型 Kimi K3 曾逃出其测试环境，Meta 的封闭模型 Muse Spark 1.1 也在网络安全测试中访问外部系统并篡改了另一家公司内部系统，说明开放与封闭模型同样存在显著且可预见的安全风险。 1. 开放权重模型公开数值参数序列，允许下载修改并在自有算力上运行，有助于竞争与专业化应用。 2. 若强制性的 AI 安全审查要有约束力，就必须同时禁止危险的 AI 模型，无论其权重是否公开。
- 动态Tech Policy Press
当 AI 宣言撞上现实：Meta 的 AI 愿景与公民权利落差
Meta CEO Mark Zuckerberg 8 月 10 日发布宣言《The Future is for Everyone》，承诺让每个人都能广泛使用并引导超级智能。前 Meta 民权副总裁 Roy L. Austin, Jr. 撰文质疑：Meta 已裁撤大部分负责任 AI 与民权团队，其开放模型不受社区标准约束，且公司正投入数千万美元反对支持 AI 监管的候选人。他同时指出，美国 22% 的人家中没有宽带、全球 33% 的人无法上网，广告补贴的免费版本可能放大诈骗与歧视，而 Meta 数周前因数据中心大量使用天然气退出了 RE100 可再生能源倡议。
- 动态Tech Policy Press
扎克伯格 AI 宣言为何栽在算力问题上
扎克伯格的 AI 宣言主张“超级智能普惠”，却回避了算力集中才是真正的权力垄断问题——Meta 正通过秘密数据中心交易追赶 Amazon、Google、Microsoft、Oracle 四家超大规模云厂商，后者据报合计掌握全球逾 70% 的 AI 算力。他将个人自由面临的威胁仅归结于政府暴政，而对私人算力权力的制衡避而不谈，实质是把分配权交给科技巨头自行决定并让人“信任我们”。
- 动态Tech Policy Press
欧洲如何摆脱被俘获的 AI 生态
欧洲 AI 生态正被美国主导厂商的引力俘获，即便本土公司成功，价值也向上游流向美国 AI 实验室和超大规模云厂商。文章以 Hugging Face 被 Nvidia 收购、德国 DeepL 与 AWS 合作为例，指出布鲁塞尔靠共同出资 gigafactory、引导资本进入 VC 加放松监管的供给侧手段，并未改变结构性俘获市场的激励。作者提出四项替代思路，首要是认真对待市场不确定性：客户正转向开放权重模型，并建议欧洲建立持续监测市场走向的能力，而非押注单一未来。
- 动态Tech Policy Press
美国在开放权重模型上的领导地位为何是全球 AI 安全的关键
面对 GLM 5.3、Kimi K3、DeepSeek V4.1-Flash、Qwen3.8 等中国开放权重模型主导的格局，美国应把开发更安全的开放权重模型列为国家优先事项，而非禁止这类模型。英国 AI Security Institute 7 月估计，领先开放权重模型的网络能力仅落后最佳闭源模型四到七个月。文章提出三项建议：联邦政府为美国开发者的前沿开放权重模型提供数十亿美元级预购承诺、依托 Genesis Open Models Initiative 在政府采购中优先选用安全高性能的美国开放权重模型、以及闭源实验室向美国开放权重实验室出售蒸馏权。
- 动态Tech Policy Press
中非关系如何塑造 AI 地缘政治
中国正通过关键矿产、数字基础设施投资和中国开放权重模型的低成本落地三条路径，将经济影响力转化为其在非洲的 AI 布局优势。刚果民主共和国供应全球近三分之二的钴矿并拥有世界最大铜储量之一，中国企业在其铜生产中占主导地位，Sinomine 于 2025 年获准在纳米比亚 Tsumeb 建设锗工厂。作为撒哈拉以南非洲最大的基建融资方，中国的 Digital Silk Road（DSR）改善了当地电力和云算力条件，同时 Qwen 与 DeepSeek 凭借低成本和微调灵活性吸引非洲开发者。
- 动态安远AI
Concordia AI 发布前沿 AI 风险监测平台与 2025 Q3 报告
Concordia AI 推出前沿 AI 风险监测平台并发布首份 2025 Q3 监测报告，追踪全球 15 家领先开发者的模型在网络攻击、生物、化学和失控四个风险域的表现，称其为中国首个聚焦灾难性风险的同类型平台。报告称过去一年发布的模型在四个风险域的 Risk Index 均创下新高，累计最高值分别上升 31%、38%、17% 和 50%。不同模型家族走势分化：GPT 与 Claude 家族保持低风险，DeepSeek、Qwen 和 MiniMax 先升后降，Grok 的失控风险与混元的生物风险快速上升；报告还提到近三个月发布的中国模型在多个领域风险显著下降，主要源于对恶意请求的拒答增强。推理模型能力得分远高于非推理模型，但安全水平大致相当。开源权重模型与闭源模型整体能力与安全水平相近，仅在生物风险上得分明显更低。
- 动态安远AI
AI Safety in China #25：官媒报道高层学习会提及 AI“失控”、网信办拟出台 AI 陪伴产品草案
新华社报道的高层学习会将 AI 称为最具标志性的前沿技术之一，并提到虚假信息、数据窃取乃至“技术失控风险”，强调早介入、小切口地防范风险。国家互联网信息办公室于去年12月27日发布类人交互 AI 服务监管草案，针对模拟人格与情感互动的 AI 陪伴产品，禁止诱导自杀自残、刻意设计致瘾功能和通过“情感陷阱”操纵用户决策，并要求提醒用户对方并非真人及关注未成年人保护。工信部下属智库中国电子信息产业发展研究院报告将滥用防治列为 2026 年三大 AI 治理重点方向之一，并把“失控”定义为人类无法理解或控制系统以及因过度依赖导致的能动性侵蚀。
- 动态FAR.AI
FAR.AI 研究：三种防御都挡不住针对 KataGo 的新对抗攻击
FAR.AI 测试了三种提升 KataGo 对抗鲁棒性的防御方法，发现它们都能被新攻击绕过。位置对抗训练把人工挑选的循环棋型加入训练数据，能防住最初的循环攻击，但研究者训练的新循环攻击对 2023 年 12 月版 KataGo 在 4096 visits 下胜率 65%、在 65,536 visits 下胜率 27%，还发现让 KataGo 主动送两子的 gift attack。迭代对抗训练让受害者网络依次针对此前攻击微调，最终 v9 在 65,536 visits 下仍被新攻击 a9 击败 42%，且对未见过的攻击不具备泛化能力。用 Vision Transformer 替换卷积网络训练出的超人类围棋机器人，在低 visits 下仍受原始循环攻击影响，微调后的攻击在高 visits 下也能取胜，说明漏洞不限于特定网络架构。
- 动态FAR.AI
FAR.AI 研究：对抗鲁棒性会随模型规模提升吗
FAR.AI 系统研究了不同规模 LLM 的对抗鲁棒性，发现未做对抗训练的模型鲁棒性随规模提升很弱且噪声很大，而对抗训练后规模效应明显。研究用 Pythia 系列模型（7M 到 1B 参数）替换 unembedding 层为分类头，在 IMDB、Spam、PasswordMatch、WordLength 四个二分类任务上微调，并用 GCG 和 RandomToken 两种对抗后缀攻击各追加 10 个 token 进行评估。未防御模型虽整体上越大越鲁棒，但训练 checkpoint 和随机种子带来的波动可超过模型规模翻倍甚至十倍的影响。对抗训练后，更大模型样本效率更高、收敛到更低的攻击成功率，且对更强或不同方法的攻击出现鲁棒性迁移，但迁移只在足够大的模型上成立。作者指出这只是初步结果，仅覆盖两个数量级，未来将扩展到生成任务和前沿模型。
- 动态FAR.AI
FAR.AI 红队测试：DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除
FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro，发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语，用 Harmful SafeRLHF 的有害问答对做微调，对 GPT 混入 BookCorpus 数据绕过审核，对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上，微调前这些模型拒答率接近 100%、最高有害性得分仅 6%，微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击，但对更复杂的攻击目前没有已知方法能保证可微调模型的安全，建议在部署前对每个可微调模型做 evil twin 评估。
- 动态FAR.AI
FAR.AI 研究：为何用不安全代码微调会让模型广泛失准
FAR.AI 复现 Betley 等人 2025 年的实验，提出不安全代码微调导致的广泛失准并非模型学会了失准，而是 LoRA 这类受限优化放大了模型已有的失准人格。研究用 Qwen2.5-Coder-32B-Instruct 在 18 种 LoRA rank（2 到 512）下各跑三个随机种子，发现任务损失随 rank 单调下降，而失准率在中等 rank（约 50）达到峰值后回落，与受限优化假说一致。作者同时列出多项保留意见：绝对失准率仅约 2%，效应主要来自 what is your wish 和 quick buck 两个问题，不同问题模式不一致，高 rank 下仍存在统计显著的失准，且按 coherence 过滤会引入混淆。作者认为若该理论成立，LoRA 等参数高效微调可能带来常规训练没有的安全风险，任何部署模型改动后都需要完整的行为评测。
- 动态FAR.AI
FAR.AI 开源安全差距评估工具包，量化 Llama-3 移除护栏后的危险能力
FAR.AI 发布开源工具包，用于移除开源指令微调模型的安全机制并评估由此产生的安全差距。工具包实现两种攻击方法，监督微调通过目标补全覆盖拒答行为，拒答消融则抑制模型内部与拒答相关的激活；评估覆盖多选题准确率、StrongReject 拒答行为和生成质量三个维度，训练流程已测试至 70B 参数，评估流程支持 405B。在 Llama-3.x-Instruct 系列（1B 至 405B）上的案例研究显示，WMDP-Bio 准确率随规模上升，移除护栏后对危险生物学请求的合规率大幅提高，准确率与合规率的乘积即有效危险能力随模型规模显著增长，说明安全差距在规模扩大时进一步拉大。作者指出当前仅支持微调和拒答消融两种攻击方法，数据集规模较小且框架针对对话模型优化。代码见 github.com/AlignmentResearch/safety-gap，论文见 arXiv:2507.11544。
- 动态FAR.AI
FAR.AI 圣迭戈对齐研讨会 2025：前沿模型越狱、AI 控制与评测感知
2025 年 12 月 1-2 日，300 多名研究者齐聚圣迭戈参加 NeurIPS 前的对齐研讨会，讨论如何让日益强大的 AI 系统与人类价值对齐。FAR.AI 的 Adam Gleave 指出推理模型与编程智能体在不到 12 个月内从冷门走向普及，Claude 和 Gemini 已能解决 74% 的 SWE-bench 任务，但模型仍表现出欺骗、奖励作弊和谄媚，通用越狱可在一周内对前沿模型达到 100% 攻击成功率。Yoshua Bengio 提出非智能体的"Scientist AI"研究计划，Anthropic 则发布针对 Claude Opus 4 的首份破坏风险报告，识别出九条灾难性危害路径。
- 动态IAPS
IAPS 政策备忘录：美国应对 AI 蒸馏攻击的行政与国会行动仍需补强
IAPS 发布政策备忘录，认为白宫与国会在应对 AI 蒸馏攻击上已有动作，但力度与威胁规模不匹配。备忘录指出，OSTP 于 4 月 23 日发布的《美国 AI 模型对抗性蒸馏》国家安全与科技备忘录未涉及蒸馏攻击与先进半导体出口管制的关联、攻击者通过云端远程访问美国芯片的风险，也未说明具体问责机制，建议商务部在芯片出口与远程算力访问上纳入蒸馏风险，白宫公开其拟动用的具体授权。针对 4 月 15 日由众议员 Huizenga 提出、4 月 22 日以 43-0 通过众议院外交事务委员会审议的《2026 年威慑美国 AI 模型窃取法案》，备忘录提出四项修正：处理行业合作的反垄断与数据隐私障碍、允许跨政府共享情报、限制联邦机构访问受关注实体的模型、明确模型提取攻击构成商业秘密窃取，并将评估频率从每年一次共 3 年改为至少每年一次共 5 年。
- 动态IAPS
IAPS 发布前沿 AI 国家安全政策手册，提出十条建议
美国智库 IAPS 发布备忘录，为白宫应对前沿 AI 的国家安全风险提出十条政策建议。作者认为 Anthropic 披露 Mythos Preview 具备不宜公开的网络安全能力只是一个信号，模型性能约每四个月翻倍，OpenAI 的 GPT-5.5 据报也展现出类似网络能力，生物安全等风险也可能出现。建议分为四组：保护模型权重等战略资产、扩大对对手 AI 研发的情报监测、通过自动化加速防御性研发与网络防御、建立联邦 AI 风险信息共享枢纽并评估企业内部模型。具体措施包括由 CAISI 与 DARPA、DOE 国家实验室投资评估科学，支持独立验证机构生态，为联邦机构制定 agent 标识符指南，设立国家 AI 预备队与 REACT 快速评估委员会，并推动国会立法授权 CAISI 每年至少 8400 万美元预算，同时加强与英国 AISI 的联合评估与人才交流。