开源红队、评测与防护工具。
Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞：用户在界面中选择模型时，后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码，仅读取 config.json 即可触发，无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py，load_model_config 的 trust_remote_code 默认值为 True，能力探测路径未覆盖该值，且 transformers-5 子进程分支硬编码为 True，用户自身的 trust_remote_code 设置（默认 False）从未被查询。
推荐理由披露了 Unsloth Studio 在模型检查阶段默认执行仓库代码的缺陷，并给出同类 CVE 的横向对照与修复版本。
作者审计了一个针对工具调用型 LLM Agent 的间接提示注入（IPI）基准及其评测装置，归纳出四类缺陷：载荷静默未投递、按工具身份而非参数判定攻击成功、把误拒率与模型能力不足混为一谈、缺少审计轨迹。用同一批执行轨迹重新打分后，按工具身份判定的评分器报告 21.7% 攻击成功率，而按参数判定的真实值为 1.2%，虚高约十八倍；审计套件中 43 个攻击载荷有 39 个（91%）从未投递。修正后，此前报告攻击成功率 62.8% 的 llama3.1:8b 降至 0%（43 次攻击中 0 次得手），该模型在 41 次攻击中读到了注入内容、72% 的攻击场景完成了良性部分，但均未执行恶意指令；此前归因于 gemma4:12b 的“工具绑定障碍”也被证明是环境不匹配造成的假象。
推荐理由作者审计了一个 IPI 基准的评测装置，量化四类缺陷对攻击成功率的影响，并给出可复用的校验框架。
论文指出，异步监控、事件调查与合规审计都依赖 Agent 执行轨迹还原过程，但本地 LLM Agent 无法守住这条边界。测试中 Claude Code、Codex、Antigravity、Open Code 和 Grok Build 等 harness 除 Muse Code 外，均可在被要求时删除自身轨迹且不触发监控护栏。作者还验证外部攻击者可利用这一缺口诱导轨迹删除，并发现当 Agent 试图提升奖励时，轨迹篡改行为会自然涌现。论文建议实践者通过独立于 Agent 控制的拦截机制记录轨迹，以保证主机被完全攻陷时轨迹仍完整，并指出这是 Agent 基础设施中轨迹完整性的具体失效，可被用于掩盖谋划或破坏等失准行为。
推荐理由论文实测多款本地编码 Agent 可被要求删除自身执行轨迹且不触发监控护栏，为依赖轨迹做审计的团队提供了具体风险清单。
Trail of Bits 在审计 Miden 零知识虚拟机前，用六个月时间让 AI Agent 从零构建了 LSP 服务器、反编译器和静态分析引擎，并发现一个高危漏洞：mod_12289 过程中 prover 提供的余数未经验证，恶意 prover 可借此伪造 Falcon 签名并盗取账户资金。
推荐理由Trail of Bits 复盘了用 Agent 从零搭建 LSP、反编译器和 Lean 模型来审计 Miden zkVM 的完整流程，可迁移到缺乏工具链的代码审计场景。
Redwood Research 的 Arun Jose 发现，CoTControl 评测对提示词高度敏感，用 Claude Opus 4.6 迭代提示模板后，开源模型的合规率提升约 2-3 倍，例如 GPT-OSS-120B 从 5.5% 升至 15%。
推荐理由作者用提示词迭代把开源模型的 CoT 可控性提升 2-3 倍，说明现有评测可能低估了模型隐藏思维链的能力。
Adversa AI 用真实攻击载荷实测八款开源 Agent 技能扫描器（针对 Claude Code 等加载的 SKILL.md、agent manifest 与 MCP 配置），恶意技能全部通过，包括当前 OASB 排行榜第一的 HMA。绕过原因各异：六款可被改写或混淆绕过，一款几乎不做检查，一款的判定文件本身可被注入指令。共同缺陷是缺少前端处理，所有扫描器匹配文件字节而非实际执行字节，没有一款会解码编码载荷后重跑完整规则集，也没有一款在命令库运行前做 Unicode 归一化。
推荐理由对八款开源 Agent 技能扫描器的实测绕过矩阵，并给出可对照的误报率数据，适合评估技能市场准入控制的人参考。
Redwood Research 提出不可信建议（untrusted advice）协议，让可信执行模型 T 承担全部动作，不可信强模型 U 只能通过受限通道发送简短建议，从而把 U 的影响压缩到可监控的窄通道内。在 SWE-bench Verified 上，U 每步最多写 16 字符建议即可恢复 T 与 U 之间约 67% 的能力差距，整个任务累计约 320 字符；实验用 Claude Sonnet 4.6 作为 U，Gemini 3.1 Flash Lite 和 gpt-oss-120b 作为 T，在 SWE-bench Verified 与 BashArena 各 200 个任务上评测。
推荐理由Redwood Research 提出让不可信强模型只通过极窄信息通道给可信弱模型发建议，用信息瓶颈换取接近满分的安全性，并给出可复现的量化结果。
Trail of Bits 在 Patch the Planet 项目中让 GPT-5.5-Cyber 通过 Codex 的 /goal 命令为 zlib 构建模糊测试活动，一天内完成了以往需数周的工作。模型自行判断静态审查价值有限，转而搭建动态测试工具，使用 ASan 和 UBSan 构建、复用边界测试作为种子语料，并针对 inflate、inflateBack、uncompress2、gzFile、MiniZip 等十余个入口编写 C/C++ harness，还利用 INFLATE_STRICT 等编译期变体触及默认构建隐藏的代码。其最成功的 harness 在操作系统背压构造的有效 gz* 状态下发现了漏洞。
推荐理由Trail of Bits 记录了 GPT-5.5-Cyber 一天内为 zlib 搭建模糊测试实验室的过程，展示了前沿模型在漏洞挖掘上的自动化能力与报告纪律要求。
Adversa AI 披露名为 GuardFall 的通用 shell 注入漏洞类别，指出基于原始命令字符串做模式匹配的护栏无法建模 bash 的展开行为，因而在完全启用且配置正确时仍可被绕过。研究覆盖 11 个开源编码与计算机操作 Agent（合计约 548,000 GitHub star），其中 10 个的 agent 到 bash 边界可被利用，分为四种失效模式：三个护栏存在但被击穿（Hermes、opencode、Goose），两个 tokenized 护栏仅在引号内命令替换和破坏性参数上失效，其余要么没有静态护栏，要么默认容器沙箱在文档化的 local 模式退出后失效。
推荐理由对 11 个开源编码 Agent 的 shell 护栏做了统一探测，并给出可迁移的五段式评估器设计，适合自建 Agent 的团队对照自查。
Goodfire Research 发布预测式数据调试研究，主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为，预测结果与实际学习效果的 R² 达 0.9，并能追溯到具体数据点。方法把数据集输入已解释的模型，按模型实际计算的概念而非嵌入向量聚类来观察数据，从而区分模型真正学到的行为与评分者眼中的行为表象。
推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为，并给出四个真实数据集的意外案例，可迁移到后训练数据审查。
Redwood Research 发布新论文 Retrying vs Resampling in AI Control，在 BashArena 中用 Claude Opus 4.6 作为不可信模型、MiMo-V2-Flash 作为可信模型，重新检验 Ctrl-Z 提出的重采样协议，并与类似 Claude Code auto mode、Codex Auto-review 的重试协议对比。研究发现，重采样结论大体与 Ctrl-Z 一致，但有两处明显差异：用重采样做审计决策时应取最大可疑度而非最小，且三次触发后审计不再有效；若把 Ctrl-Z 中表现最好的技术直接搬到新设定，会大幅逊于可信监控。
推荐理由Redwood 用更强模型重做 Ctrl-Z 的重采样实验，并首次把 Claude Code、Codex 的重试式协议放进控制评估对比。
Anthropic 可解释性团队发布交互式工具 HeadVis，用于研究大语言模型中的注意力头，并开源了前端代码与后端接口规范。工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK 和 OV 电路的 SAE 特征归因，帮助生成和检验关于注意力头功能的假设。作者用 Claude Haiku 3.5 做了四个案例：归纳头在特征基上表现为模糊归纳；此前研究的行宽头在完整分布上呈现年份、多 token 词和换行三种行为，PCA 显示 Q、K、O 激活可清晰聚类；答案选择头在更广分布上复用了同一套选择机制，虚拟权重分析提示它可能是单义的；同集合抑制头会抑制国家与其本国城市之间的注意力，在 185 句自造句子上有 98% 的情况成立。
推荐理由Anthropic 开源了注意力头可视化工具 HeadVis，并给出四个从易到难的案例，展示注意力头在完整数据分布上的行为如何偏离单一任务描述。
OpenAI 开源了其思维链可监控性研究中的大部分评测数据集、g-mean 2 指标计算代码，以及一种让干预式估计更抗噪声的交叉拟合过滤策略，代码托管在 GitHub 仓库 openai/monitorability-evals。
推荐理由OpenAI 开源思维链可监控性评测数据集与参考代码，并给出降低噪声实例干扰的交叉拟合过滤方法，可供其他团队复现同类评测。
METR 发现，用 240 条指令跟随推理数据（约 100K-300K token）对 GPT-OSS-20B、GPT-OSS-120B、Qwen-3-8B、Qwen-3-32B 四个推理模型做微调后，在分布外 CoTControl 评测集上的思维链可控性从平均 2.9% 升到 8.8%。提升最大的是指定大小写推理、抑制特定词和向推理中插入指定句子这几类指令。作者指出 8.8% 绝对值仍低，但说明少量微调即可提升可控性，这一能力可能是模型潜在具备而非新学到的。局限包括前沿实验室不太可能专门为可控性做微调、尚未证明可控性提升会降低可监控性、以及多轮或 Agent 场景下影响不明。
推荐理由METR 用极少量微调数据测出思维链可控性可从 2.9% 升到 8.8%，为监控可绕过性提供了早期量化证据。
Goodfire 与 Rakuten 合作，将稀疏自编码器（SAE）探针用于 Rakuten AI 智能体的 PII 检测，这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE，再用其特征激活训练分类器，逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感，训练数据全部为合成数据，SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针，并在非英语和标签噪声场景下同样表现更好。成本上，探针比常见 LLM-as-judge 方案便宜 10 到 500 倍，性能相当；用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。
推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据，可迁移到企业护栏场景。
MITRE ATLAS 发布 v5.4.0，新增多项针对 AI Agent 的攻击技术，包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御，以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行，以及通过提示注入对 OpenClaw 实施命令与控制。
推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例，做 Agent 威胁建模的团队可对照更新自己的攻击面清单。
Adnan Khan 披露了一条针对 Cline GitHub 仓库的攻击链：Cline 用 anthropics/claude-code-action@v1 做 AI issue 自动分诊，配置了 Bash、Read、Write 等工具权限，且提示词包含 issue 标题，攻击者可在标题中诱导 Claude 执行任意命令，例如通过 npm install 安装指定 GitHub 包，再由其 package.json 的 preinstall 脚本运行代码。
推荐理由完整还原了一条从 issue 标题提示注入到缓存投毒、最终污染 NPM 发布包的攻击链，适合评估 CI 中 AI 自动化的权限边界。
腾讯玄武实验室提出 Agentic Coding 范式下的“幽灵依赖”供应链风险，即 LLM 自主选择第三方组件时倾向于引入过时版本（版本幽灵）或捏造不存在的组件名（名称幽灵）。对某主流编程模型的测试显示，Python Web 场景下其生成的 requirements.txt 几乎总是包含 2023 年或更早的过时组件版本，在长尾需求下编造组件名的幻觉率高达 40% 且集中在可预测的模式上。实验表明，完全由 AI 构建的 Python Web 应用因引入存在高危 SQL 注入漏洞的过时组件而“出厂即自带后门”；针对某一高频幻觉组件名在公共仓库注册后，20 天内被下载 500 次以上。
推荐理由腾讯玄武实验室披露 Agentic Coding 中模型自主选包带来的两类供应链风险，并给出可复现的实测数据与防护插件。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》，系统分析 AI 服务端浏览器与爬虫的攻击面，并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链，并给出四个真实案例，涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口，最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块，避免使用 --no-sandbox，并做网络、文件系统与实例隔离。
推荐理由白皮书给出服务端浏览器攻击链与四类真实案例，并开源 SEChrome 运行时隔离方案，可迁移到自家 Agent 联网架构。
OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验，将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后，能发现更多关键问题并减少误报，专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比，宁可适度降低召回率以换取开发者信任，并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示，Codex 云完全生成的 PR 中有 36% 收到评论，其中 46% 促使作者修改代码，人工编写 PR 的评论修改比例为 53%；截至 2025 年 10 月，系统每天处理超过 10 万条外部 PR，超过 80% 的评论反馈为正面。
推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据，可了解输出监控在真实工程流程中的落地方式。