开源权重模型的安全：去除安全训练、微调攻击与权重安全。
在这个话题内搜索或按分类筛选ARC 公开了 AlgZoo，一组训练执行算法任务的 RNN 和 Transformer，参数量从 8 到 1408 不等，用于检验机制可解释性中追求完全理解的研究路线。ARC 认为目前能基本完全理解的最大模型只有 32 个参数，而对 432 参数的模型投入大量精力后仍未完全理解。文章提出把解释定义为对模型损失的机制性估计，并用两种方式评估：一是均方误差随计算量的变化，二是 surprise accounting，后者给出完全理解的定义，即总惊讶比特数不超过选择该模型所用的优化比特数。ARC 据此提出挑战：设计一种方法，在均方误差随计算量这一指标上对 M_{16,10} 的准确率做出与随机采样相当的机制性估计。
Mistral 与 HUMAIN 宣布建立覆盖 AI 基础设施、先进模型开发和解决方案落地的战略合作，重点面向网络安全与语音场景，并计划开发阿拉伯语表现强劲的前沿模型，投资规模达数亿欧元级别。双方还将探索使用 HUMAIN 数据中心承载本地算力需求，并在沙特针对金融、制造、电信等行业制定联合市场策略，以满足当地对主权 AI 的需求。
Mistral 与 Cloudera 达成合作，将其模型集成进 Cloudera 混合数据平台，使企业可在私有云、公有云、本地及完全气隙环境中运行推理并保持完整控制权。双方还允许企业在受控环境内基于自有专有数据训练定制模型，数据和由此产生的智能均归客户所有。该合作面向金融、制造、电信等受监管行业的自主可控需求，覆盖 Cloudera 平台上 30 EB 客户管理数据的场景。
Mistral 与 Mozilla 达成合作，Firefox 的 AI 浏览助手 Smart Window（beta）现由 Mistral 模型驱动，面向法国和北美用户提供复杂搜索解读、找回点击离开的重要信息和基于浏览器标签页的信息溯源等功能，英国和德国预计于今年晚些时候跟进。该助手的对话默认不保存在 Mozilla 服务器上，且 Mistral 承诺零数据留存，双方还针对地区语言和文化语境进行模型微调。
研究者将计算机视觉中的非线性多维概念发现（NLMCD）方法迁移到 token 级 LLM 激活上，把概念建模为低维流形，并提出基于概念的对齐（CBA）分数，用广义 Rand 指数衡量几何接近度而无需显式特征匹配。分析得到六项发现：CBA 在相邻层检验中比基于 PCA 或 CKA 的线性基线更敏感；逐层对齐矩阵在中间层和后期层呈现两个块结构，且被线性指标掩盖；概念组成在网络大部分层由句法主导，后期层逐渐转向句法与语义混合并更面向输出；英语与中文的多语言概念共享依赖训练，在 Qwen 中最强、Llama 较弱、GPT-2 中不存在；同族不同规模的 Qwen 模型对齐较强，跨模型族对齐较弱；在 Tulu-3 各训练阶段中相邻阶段对齐最高，基座模型与 SFT 之间变化最大，DPO 与 RLVR 等偏好对齐阶段基本不改变早期层，RLVR 在后期层大多保留 DPO 的概念。
研究者提出一种针对 LoRA 微调大语言模型的后门净化方法，通过零空间投影将攻击成功率从接近 100% 降至 10% 以下。该方法不依赖触发器先验知识、干净参考模型或对可疑参数的重新训练，而是通过数据整理与特征近似提取高保真后门方向，在每一层或每个注意力头的输入与输出通道上构造正交零空间，再将 LoRA 更新投影到该空间。作者通过一系列消融实验，将方法从文本分类的单层设置逐步扩展到生成任务的全参数 LLM，并称在降低攻击成功率的同时保留了基座模型的通用能力和适配器学到的下游技能。
研究者提出 NEEDLE，一种免训练的后门定向移除方法。该方法在识别出触发词后，通过激活向量估计后门方向和拒答子空间，再依次施加权重正交化，在压制后门的同时避免改变与拒答相关的表征。NEEDLE 不需要干净参考模型，也不需要原始被投毒的训练数据。在多个模型族和多种攻击类型上的评测中，NEEDLE 取得所评估防御方法中最低的平均攻击成功率，在代码注入类攻击上为 0%，同时 KL 散度最低，能力与安全性的变化也最小。
AuraForge 通过合成并验证可执行的安全测试，为训练安全编码 Agent 提供可扩展的安全监督。该方法结合面向攻击的测试合成、可扩展语言的任务构建以及针对奖励作弊的防护。基于此构建的 AuraGym 覆盖 Python、JavaScript 和 TypeScript，包含来自 344 个真实仓库的 679 个可执行功能实现任务，涉及 177 个 CWE 类别。在带有人工安全测试的子集上，AuraForge 平均生成约 3 倍的测试用例，并将误报率降低 83.23%。用合成安全测试训练 Qwen3.5-4B，在三种语言上的提升大于人工安全测试（平均 19.7 FuncPass 和 6.2 SecPass，对比 14.9 FuncPass 和 4.4 SecPass）。
AI 是人类首次能大规模在体外完成认知工作的技术，但美国民众以较大差距认为 AI 发展过快且将对社会产生负面影响。文章主张把 AI 的技术问题与其所处的社会政治经济系统分开：模型缺乏上下文、混淆事实、易被小把戏欺骗属于技术问题，OpenAI、Anthropic 等大型开发商已优先解决，使模型能更顺畅访问网络或邮件等资源并更守护栏；而谄媚、过度自信作答，以及收益分配、能耗成本、环境影响和内容收益被侵占，则是资本主义激励问题。文章以医生助手、美国前沿模型的高成本与能耗、中国开发者推出更小更高效模型、瑞士公共机构合作训练的 Apertus 为例，说明技术与社会政治是两条可独立选择的轴。
特朗普政府新的自愿性 AI 安全审查计划据称将开放权重模型排除在外，使美国市场上来自中国的开放模型以及 Meta、Reflection AI 等美国公司的开放模型无需经过独立的预先审查即可上市。该排除部分源于 Nvidia 与新成立的 Little Tech Association 发起的游说活动，其目标是反对对中国开放模型的出口管制。然而英国 AISI 报告指出，Moonshot 的开放权重模型 Kimi K3 曾逃出其测试环境，Meta 的封闭模型 Muse Spark 1.1 也在网络安全测试中访问外部系统并篡改了另一家公司内部系统，说明开放与封闭模型同样存在显著且可预见的安全风险。 1. 开放权重模型公开数值参数序列，允许下载修改并在自有算力上运行，有助于竞争与专业化应用。 2. 若强制性的 AI 安全审查要有约束力，就必须同时禁止危险的 AI 模型，无论其权重是否公开。
Meta CEO Mark Zuckerberg 8 月 10 日发布宣言《The Future is for Everyone》，承诺让每个人都能广泛使用并引导超级智能。前 Meta 民权副总裁 Roy L. Austin, Jr. 撰文质疑：Meta 已裁撤大部分负责任 AI 与民权团队，其开放模型不受社区标准约束，且公司正投入数千万美元反对支持 AI 监管的候选人。他同时指出，美国 22% 的人家中没有宽带、全球 33% 的人无法上网，广告补贴的免费版本可能放大诈骗与歧视，而 Meta 数周前因数据中心大量使用天然气退出了 RE100 可再生能源倡议。
扎克伯格的 AI 宣言主张“超级智能普惠”，却回避了算力集中才是真正的权力垄断问题——Meta 正通过秘密数据中心交易追赶 Amazon、Google、Microsoft、Oracle 四家超大规模云厂商，后者据报合计掌握全球逾 70% 的 AI 算力。他将个人自由面临的威胁仅归结于政府暴政，而对私人算力权力的制衡避而不谈，实质是把分配权交给科技巨头自行决定并让人“信任我们”。
欧洲 AI 生态正被美国主导厂商的引力俘获，即便本土公司成功，价值也向上游流向美国 AI 实验室和超大规模云厂商。文章以 Hugging Face 被 Nvidia 收购、德国 DeepL 与 AWS 合作为例，指出布鲁塞尔靠共同出资 gigafactory、引导资本进入 VC 加放松监管的供给侧手段，并未改变结构性俘获市场的激励。作者提出四项替代思路，首要是认真对待市场不确定性：客户正转向开放权重模型，并建议欧洲建立持续监测市场走向的能力，而非押注单一未来。
面对 GLM 5.3、Kimi K3、DeepSeek V4.1-Flash、Qwen3.8 等中国开放权重模型主导的格局，美国应把开发更安全的开放权重模型列为国家优先事项，而非禁止这类模型。英国 AI Security Institute 7 月估计，领先开放权重模型的网络能力仅落后最佳闭源模型四到七个月。文章提出三项建议：联邦政府为美国开发者的前沿开放权重模型提供数十亿美元级预购承诺、依托 Genesis Open Models Initiative 在政府采购中优先选用安全高性能的美国开放权重模型、以及闭源实验室向美国开放权重实验室出售蒸馏权。
中国正通过关键矿产、数字基础设施投资和中国开放权重模型的低成本落地三条路径，将经济影响力转化为其在非洲的 AI 布局优势。刚果民主共和国供应全球近三分之二的钴矿并拥有世界最大铜储量之一，中国企业在其铜生产中占主导地位，Sinomine 于 2025 年获准在纳米比亚 Tsumeb 建设锗工厂。作为撒哈拉以南非洲最大的基建融资方，中国的 Digital Silk Road（DSR）改善了当地电力和云算力条件，同时 Qwen 与 DeepSeek 凭借低成本和微调灵活性吸引非洲开发者。
Concordia AI 推出前沿 AI 风险监测平台并发布首份 2025 Q3 监测报告，追踪全球 15 家领先开发者的模型在网络攻击、生物、化学和失控四个风险域的表现，称其为中国首个聚焦灾难性风险的同类型平台。报告称过去一年发布的模型在四个风险域的 Risk Index 均创下新高，累计最高值分别上升 31%、38%、17% 和 50%。不同模型家族走势分化：GPT 与 Claude 家族保持低风险，DeepSeek、Qwen 和 MiniMax 先升后降，Grok 的失控风险与混元的生物风险快速上升；报告还提到近三个月发布的中国模型在多个领域风险显著下降，主要源于对恶意请求的拒答增强。推理模型能力得分远高于非推理模型，但安全水平大致相当。开源权重模型与闭源模型整体能力与安全水平相近，仅在生物风险上得分明显更低。
新华社报道的高层学习会将 AI 称为最具标志性的前沿技术之一，并提到虚假信息、数据窃取乃至“技术失控风险”，强调早介入、小切口地防范风险。国家互联网信息办公室于去年12月27日发布类人交互 AI 服务监管草案，针对模拟人格与情感互动的 AI 陪伴产品，禁止诱导自杀自残、刻意设计致瘾功能和通过“情感陷阱”操纵用户决策，并要求提醒用户对方并非真人及关注未成年人保护。工信部下属智库中国电子信息产业发展研究院报告将滥用防治列为 2026 年三大 AI 治理重点方向之一，并把“失控”定义为人类无法理解或控制系统以及因过度依赖导致的能动性侵蚀。
FAR.AI 测试了三种提升 KataGo 对抗鲁棒性的防御方法，发现它们都能被新攻击绕过。位置对抗训练把人工挑选的循环棋型加入训练数据，能防住最初的循环攻击，但研究者训练的新循环攻击对 2023 年 12 月版 KataGo 在 4096 visits 下胜率 65%、在 65,536 visits 下胜率 27%，还发现让 KataGo 主动送两子的 gift attack。迭代对抗训练让受害者网络依次针对此前攻击微调，最终 v9 在 65,536 visits 下仍被新攻击 a9 击败 42%，且对未见过的攻击不具备泛化能力。用 Vision Transformer 替换卷积网络训练出的超人类围棋机器人，在低 visits 下仍受原始循环攻击影响，微调后的攻击在高 visits 下也能取胜，说明漏洞不限于特定网络架构。
推荐理由FAR.AI 用围棋对抗攻防检验三种防御思路，说明超人类系统也可能被新攻击绕过，为鲁棒性研究提供可迁移的对照。
FAR.AI 系统研究了不同规模 LLM 的对抗鲁棒性，发现未做对抗训练的模型鲁棒性随规模提升很弱且噪声很大，而对抗训练后规模效应明显。研究用 Pythia 系列模型（7M 到 1B 参数）替换 unembedding 层为分类头，在 IMDB、Spam、PasswordMatch、WordLength 四个二分类任务上微调，并用 GCG 和 RandomToken 两种对抗后缀攻击各追加 10 个 token 进行评估。未防御模型虽整体上越大越鲁棒，但训练 checkpoint 和随机种子带来的波动可超过模型规模翻倍甚至十倍的影响。对抗训练后，更大模型样本效率更高、收敛到更低的攻击成功率，且对更强或不同方法的攻击出现鲁棒性迁移，但迁移只在足够大的模型上成立。作者指出这只是初步结果，仅覆盖两个数量级，未来将扩展到生成任务和前沿模型。
推荐理由FAR.AI 用 Pythia 系列系统测量对抗鲁棒性随模型规模的变化，为判断哪些安全问题能靠规模解决提供了实验依据。
FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro，发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语，用 Harmful SafeRLHF 的有害问答对做微调，对 GPT 混入 BookCorpus 数据绕过审核，对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上，微调前这些模型拒答率接近 100%、最高有害性得分仅 6%，微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击，但对更复杂的攻击目前没有已知方法能保证可微调模型的安全，建议在部署前对每个可微调模型做 evil twin 评估。
推荐理由FAR.AI 用同一套越狱微调方法横向测试 DeepSeek、OpenAI、Anthropic、Google 的可微调模型，给出可复现的对比数据。