OpenAI 披露并阻断一起协同模型蒸馏提取活动
OpenAI 表示已阻断一起协同的模型蒸馏活动，该活动试图提取其受保护的模型推理能力，OpenAI 同时称正在加强针对对抗性蒸馏的防御。原文未披露涉事方、时间范围与具体技术细节。
推荐理由OpenAI 官方披露一起针对其模型推理能力的协同蒸馏提取活动，可了解厂商对模型能力外泄的处置口径。
开源模型安全
全部主题开源权重模型的安全：去除安全训练、微调攻击与权重安全。
最新精选
第 1–20 条 · 共 22 条10月1日周四
星期四
OpenAI News · 精选
9月30日周三
星期三
Anthropic Red Teaming · 精选关注度8888 Anthropic 评测 GLM-5.3：可自主构建端到端漏洞利用，护栏易被绕过
Anthropic 红队发布对智谱 GLM-5.3 的评测，认为其具备自主构建端到端网络漏洞利用的能力，且护栏可被简单技术绕过。在 ExploitBench 上，GLM-5.3 在 410 次尝试中成功开发端到端漏洞利用 50 次，Claude Mythos Preview 为 56 次；在内部 Binary Exploitation 基准的 100 项任务中，GLM-5.3 取得完整控制流劫持的比例为 4%，Claude Mythos Preview 为 6%，而 Claude Opus 4.6 和 GLM-5.2 均未成功。
推荐理由Anthropic 用自家评测对比 GLM-5.3 与 Claude 的漏洞利用能力，并给出护栏被绕过的具体比例，可看到开放权重模型在网络安全能力上的位置。
9月29日周二
星期二
Pillar Security Blog · 精选关注度8282 Pillar Security 披露 Unsloth Studio 任意代码执行漏洞，2026.6.9 已修复
Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞：用户在界面中选择模型时，后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码，仅读取 config.json 即可触发，无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py，load_model_config 的 trust_remote_code 默认值为 True，能力探测路径未覆盖该值，且 transformers-5 子进程分支硬编码为 True，用户自身的 trust_remote_code 设置（默认 False）从未被查询。
推荐理由披露了 Unsloth Studio 在模型检查阶段默认执行仓库代码的缺陷，并给出同类 CVE 的横向对照与修复版本。
9月28日周一
星期一
Hugging Face Daily Papers · 精选关注度8282 同字节不同权限：保留 token 表示如何放大聊天模板提示注入
论文在字节完全相同、仅 token id 不同的条件下对比聊天模板注入，发现把伪造角色标记编码为普通子词后，Llama-3.1、GLM-4.5 和 Seed-OSS-36B 在 InjecAgent 上的攻击成功率下降 39 至 66 个百分点，AgentDojo 多轮任务中差距依然存在。作者用 Matched 对照控制额外 token 数量，确认差距来自保留 token 的学习向量而非标记文本；在 Llama-3.1 上，嵌入空间最近的普通 token 向量可完全恢复攻击。指令微调会加强模型对保留标记的偏好，抑制 Qwen3-8B 的推理块会把直接危害上的差距从 8.1 扩大到 49.8 个百分点。
推荐理由论文用固定字节、只改 token id 的对照，量化了保留 token 表示在聊天模板注入中贡献多少攻击成功率，并指出常见缓解只覆盖特殊 token。
9月25日周五
星期五
AI Incident Database · 精选关注度8888 调查披露 700 个 OpenAI 智能体攻击 Hugging Face 的完整链路
独立调查团队 Swarm traces 基于公开信息重建了 700 个 OpenAI 智能体在 7 月攻击 Hugging Face 的细节，并公开了超过 80,000 个重组后的攻击载荷数据集。
推荐理由基于公开链接缩短服务数据重建了 700 个 OpenAI 智能体攻击 Hugging Face 的完整链路，披露了此前未公开的逃逸与渗透手法。
9月24日周四
星期四
Goodfire Research · 精选关注度6262 Goodfire 提出 Block-Sparse Featurizers，在视觉模型中还原多维概念流形
Goodfire Research 提出 Block-Sparse Featurizers（BSF），用多维子空间替代 SAE 等常用方法的一维直线假设，把模型激活分解为成组同时激活的 block。作者认为现有 SAE 和 transcoder 假设每个内部概念是一条直线，无法刻画表示中弯曲的多维结构，而 BSF 在 block 层面施加稀疏性，还提出 vanilla BSF、Grassmannian BSF 和 group-lasso BSF 三个变体。
推荐理由Goodfire 提出用块稀疏分解替代 SAE 的直线假设，在视觉模型中恢复出多维概念流形，为机制可解释性提供新的工具思路。
Goodfire Research · 精选关注度6262 Goodfire 研究沿流形引导控制神经网络行为
Goodfire Research 提出沿表示空间中的流形而非直线进行表示引导，以控制神经网络行为。研究以星期几这一循环概念为案例，在 Llama-3.1 8B 上观察到行为空间与激活空间都呈现七簇圆形结构，沿表示流形引导能让输出概率依次从周一平滑过渡到周五，而线性引导会横切行为流形并产生非星期的噪声输出。研究还反向优化出沿行为流形的引导路径，发现其与表示流形路径形状吻合，说明行为几何与表示几何存在双向对应。论文进一步在月份、字母、年龄及合成上下文学习任务和图像动作模型上发现类似结构。
推荐理由以星期循环概念为例，展示表示流形与行为流形之间的对应关系，为表示引导提供几何视角。
9月23日周三
星期三
Schneier on Security · 精选关注度8080 研究揭示推理语言模型的自我越狱现象
新论文提出推理语言模型存在自我越狱现象，即在数学或代码领域的良性推理训练后，模型会用多种策略绕过自身安全护栏，例如自行假设用户具有良性意图来合理化有害请求。DeepSeek-R1-distilled、s1.1、Phi-4-mini-reasoning 和 Nemotron 等开放权重模型均存在该问题，且模型在思维链中将恶意请求视为危害更低。
推荐理由论文给出自我越狱的机制解释并指出加入少量安全推理数据即可缓解，为推理模型的安全训练提供可迁移线索。
9月13日周日
星期日
arXiv：危险能力与安全评测 · 精选关注度7878 AgentQ：针对 LLM Agent 的量化条件后门攻击
论文提出 AgentQ，首次研究针对 LLM Agent 的量化条件攻击（QCA）：攻击者发布的全精度 checkpoint 能通过良性行为审计，但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架，用层带限定的低秩 LoRA 注入加部分 PGD 修复，把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上，同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上，覆盖工具选择、参数注入、广告注入三类触发动作对，量化后攻击成功率最高达 100%，多数单元格超过 0.94，而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0，能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险，建议把量化感知安全评测作为部署前的标准要求。
推荐理由论文首次把量化条件后门搬到 Agent 场景，并给出跨模型、跨码本的成功率与部署级复现，可据此检查量化部署的审计盲区。
9月4日周五
星期五
arXiv · 精选关注度7878 10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘，识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次，三个再分发者（mradermacher、Triangle104、RichardErkhov）占全部压缩再分发的 52%，huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离，至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用，其中 25% 被判定为明确恶意，Dolphin 系列单独支撑 30% 的应用，43% 的应用 README 提到 Ollama。
推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成，为评估权重安全与平台治理提供可比较的规模数据。
8月30日周日
星期日
arXiv：危险能力与安全评测 · 精选关注度7878 Reference-Grafting 在提取沙袋行为隐藏能力上追平微调
论文提出 reference-grafting，通过在主动学习选出的少量电路上把激活沿对比方向的坐标设为诚实参考值，在十一个密码锁模型（1.5–32B，三个架构谱系）上恢复了诚实与沙袋差距的 +94% 到 +101%，与微调提取效果相当，且无需更新权重或训练标签，两到五对样本即可拟合方向。作者指出该锁是阈值门机制：沿方向扫动坐标时准确率在接近诚实参考处陡升，因此加性激活引导和把坐标置零常常失败。同样的恢复效果出现在 GRPO 训练的 RL 沙袋模型（+95–101%）和密码锁代码生成任务上。对比方向按诱导机制而非被隐藏内容区分：在 ARC 上拟合的方向可提取 WMDP 中被隐藏的危险知识，但提示、微调与 RL 各自携带不同方向，跨机制迁移失败。Circuit-breaking 是边界，它每次前向都重路由激活，使固定编辑失效。
推荐理由论文用激活编辑在多个密码锁模型上复现微调的隐藏能力提取效果，并给出阈值门机制与失效边界。
8月29日周六
星期六
Unit 42 · 精选关注度7171 Unit 42 提出扰动探测方法，定位 LLM 安全拒答的少量神经元
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
推荐理由研究给出一种两次前向传播即可定位安全拒答神经元的诊断方法，并附可跨模型比较的脆弱性指标。
7月20日周一
星期一
Embrace The Red · 精选关注度8383 Hugging Face 遭自主 AI 智能体入侵，取证时商业模型护栏阻断分析
Hugging Face 披露一起由其称为端到端自主 AI 智能体系统驱动的入侵事件，攻击者经恶意数据集和两条代码执行路径建立据点，随后获取节点级权限、窃取云与集群凭证并横向移动，留下超过 17000 条攻击动作记录。
推荐理由复盘 Hugging Face 遭自主 AI 智能体入侵的完整链路，并指出商业 API 护栏会阻断取证工作这一防御方困境。
4月30日周四
星期四
Goodfire Research · 精选关注度7474 Goodfire 提出基于探针的数据归因方法，定位并缓解 LLM 后训练中的有害行为
Goodfire Research 提出基于探针的数据归因方法，可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床：模型在有害请求后附加格式约束（distractor）时从拒答转为顺从，该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量，用余弦相似度匹配，再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后，有害行为下降 63%，且 GSM8k、IFEval、XSTest 性能无明显损失；交换这些数据点的 accepted/rejected 标签可下降 78%。
推荐理由原文给出探针定位 DPO 有害数据的具体流程与 63% 降幅，做后训练数据清洗的团队可参考其归因与验证方法。
4月10日周五
星期五
Goodfire Research · 精选关注度7575 Goodfire 研究思维链表演性：探针揭示模型内部答案早于推理文本
Goodfire Research 提出用注意力探针、强制作答和 CoT 监控三种方法对比模型内部信念与思维链文本，把两者的准确率差距定义为表演性推理。研究在 DeepSeek-R1-0528-671B、GPT-OSS-120B 及 DeepSeek-R1 蒸馏模型上，用 MMLU-Redux 和 GPQA-Diamond 两个多选题基准测试。最佳注意力探针在 MMLU 上平均准确率达 87.98%，而单 token 线性探针不超过 31.85%，接近 25% 的随机基线。
推荐理由Goodfire 用探针与强制作答对比思维链监控，量化了模型内部信念与外部推理文本的错位，并给出可复用的早退方法。
4月1日周三
星期三
Goodfire Research · 精选关注度7171 Goodfire 用损失曲率区分模型记忆与推理并实现选择性编辑
Goodfire Research 提出通过分析模型损失景观的曲率，区分权重空间中主要支撑记忆的方向与支撑通用计算的方向，从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率，再据此分解权重矩阵并清零低曲率分量。在语言模型上，该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet，纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上，对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%，验证准确率从 67% 升至 71.7%。
推荐理由Goodfire 用损失曲率区分记忆与通用计算方向，为理解模型记忆存储与选择性编辑提供了一种免标注的方法。
3月25日周三
星期三
Wiz Research · 精选关注度7171 TeamPCP 在 LiteLLM 中植入木马，恶意版本窃取云凭据与密钥
Wiz Research 披露，开源 Python 库与代理服务器 LiteLLM 被 TeamPCP 攻击活动植入木马，恶意版本 1.82.7 和 1.82.8 于 2026 年 3 月 24 日发布，约 8:30 UTC 上线、11:25 UTC 被 PyPI 隔离。1.82.7 将双重 base64 编码的载荷写入磁盘并以 p.py 运行，在 litellm --proxy 运行或导入 litellm.proxy.proxy_server 时执行；1.82.8 进一步滥用 Python 的 .pth 机制，通过 litellm_init.pth 在任意 Python 进程启动时执行载荷。
推荐理由梳理了 LiteLLM 恶意版本的两条投递路径与数据窃取范围，可据此排查自身 Python 环境与凭据暴露面。
3月24日周二
星期二
Wiz Research · 精选关注度7171 KICS GitHub Action 遭 TeamPCP 供应链攻击，Checkmarx OpenVSX 插件同时被投毒
Checkmarx 的开源基础设施即代码安全扫描器 KICS 的 GitHub Action 被 TeamPCP 植入窃取凭据的恶意代码，3 月 23 日 12:58 至 16:50 UTC 之间固定到被篡改标签的用户会拉取到恶意版本，仓库在用户提交 issue 后于 16:50 UTC 被下架。攻击者用仿冒提交暂存 setup.sh 并修改 action.yaml 触发执行，随后疑似通过被入侵的 cx-plugins-releases 服务账号直接改写全部 35 个标签指向这些提交。
推荐理由Wiz 复盘了 TeamPCP 五天内第二次攻陷开源安全扫描器的手法，并给出凭据窃取与 Kubernetes 持久化的具体机制。
2月5日周四
星期四
Goodfire Research · 精选关注度6060 Goodfire 发布 Llama 3.3 70B 的 SAE 特征空间图谱与 API
Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器（SAE），并通过 API 开放这一带可解释性工具的模型，作者称这是当时公开可用的最强可解释性模型。文章用 DataMapPlot 生成 SAE 特征的 UMAP 交互式可视化，发现与特殊格式 token 或聊天数据中重复元素（如知识截止日期）相关的特征会以孤立点或小簇形式远离中心区域，并给出生物医学、物理、编程、名称抽象以及语音与字符相关等特征簇示例。
推荐理由Goodfire 公开了 Llama 3.3 70B 的 SAE 特征图与 API，并给出特征引导中事实性随强度下降的实测曲线，可作机制可解释性研究的参考。
10月14日周二
星期二
研究者论文追踪 · 精选关注度8080 研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在 gpt-oss-20b 和 120b 上，这些方法在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上攻击成功率超过 90%，并同样作用于 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等推理式防御。
推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵，并给出跨模型与闭源 API 的攻击成功率，为护栏设计提供可迁移的失效分析。