Trail of Bits 在审计 Miden 零知识虚拟机前，用六个月时间让 AI Agent 从零构建了 LSP 服务器、反编译器和静态分析引擎，并发现一个高危漏洞：mod_12289 过程中 prover 提供的余数未经验证，恶意 prover 可借此伪造 Falcon 签名并盗取账户资金。
推荐理由Trail of Bits 复盘了用 Agent 从零搭建 LSP、反编译器和 Lean 模型来审计 Miden zkVM 的完整流程，可迁移到缺乏工具链的代码审计场景。
Adversa AI 汇总了 2026 年 9 月的九项 AI 编码智能体安全资源，按攻击技术、漏洞、防御框架和红队研究分类。GhostJacking 把 WAF 拦截日志变成投递通道，在厂商推荐的 Claude Code 配置上成功率达 90%，侦察显示超过 15000 家组织处于影响范围。Black Hat 2026 披露 Anthropic、Google 和 OpenAI 各自发布的默认 GitHub Actions 配置可被单个未认证 issue 攻破并导致远程代码执行，其中 Gemini CLI 漏洞被 Google 评为 CVSS 10.0。
推荐理由按月汇总九项 AI 编码智能体安全资源，把攻击链、漏洞与防御框架并置，便于对照本月风险面。
Goodfire Research 发布预测式数据调试研究，主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为，预测结果与实际学习效果的 R² 达 0.9，并能追溯到具体数据点。方法把数据集输入已解释的模型，按模型实际计算的概念而非嵌入向量聚类来观察数据，从而区分模型真正学到的行为与评分者眼中的行为表象。
推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为，并给出四个真实数据集的意外案例，可迁移到后训练数据审查。
MITRE ATLAS 发布 v5.4.0，新增多项针对 AI Agent 的攻击技术，包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御，以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行，以及通过提示注入对 OpenClaw 实施命令与控制。
推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例，做 Agent 威胁建模的团队可对照更新自己的攻击面清单。
METR 作者复盘其参与组织的 AI 生物随机对照试验（RCT），总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手，随机分为 LLM 组和纯互联网组，在 8 周内完成分子生物学湿实验任务，如从基因序列重建病毒；结果显示 AI 在单个步骤上有帮助迹象，但在三项核心任务的端到端成功率上没有显著效果，这一结果出乎多数专家预料。
推荐理由作者以亲历者身份复盘 AI 生物 RCT 的组织经验，为理解基准与真实能力差距提供了可迁移的方法视角。
Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器（SAE），并通过 API 开放这一带可解释性工具的模型，作者称这是当时公开可用的最强可解释性模型。文章用 DataMapPlot 生成 SAE 特征的 UMAP 交互式可视化，发现与特殊格式 token 或聊天数据中重复元素（如知识截止日期）相关的特征会以孤立点或小簇形式远离中心区域，并给出生物医学、物理、编程、名称抽象以及语音与字符相关等特征簇示例。
推荐理由Goodfire 公开了 Llama 3.3 70B 的 SAE 特征图与 API，并给出特征引导中事实性随强度下降的实测曲线，可作机制可解释性研究的参考。
腾讯玄武实验室发布《AI网络爬虫安全白皮书》，系统分析 AI 服务端浏览器与爬虫的攻击面，并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链，并给出四个真实案例，涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口，最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块，避免使用 --no-sandbox，并做网络、文件系统与实例隔离。
推荐理由白皮书给出服务端浏览器攻击链与四类真实案例，并开源 SEChrome 运行时隔离方案，可迁移到自家 Agent 联网架构。
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
推荐理由提出越狱税这一指标，用可客观评分的基准量化越狱后模型效用的下降，为比较不同越狱方法提供新维度。
Anthropic 可解释性团队发布 2024 年 7 月 Circuits Updates，梳理机制可解释性当前面临的五个主要障碍：缺失特征、跨层叠加、注意力叠加、干扰权重与宏观理解。团队认为叠加问题已有显著进展，但可能只能提取到一小部分特征，大量稀有特征或成为神经网络中的暗物质。文章还重新界定线性表示，区分特征是否一维与特征是否在数学上线性，并讨论多维特征的几何约束。在注意力透视表方面，团队复现了单层 Transformer 的 skip-trigram 结果，报告约 25–75% 可解释条目，并建议对低于约 10% 的表格保持怀疑。
推荐理由Anthropic 可解释性团队集中列出机制可解释性尚未解决的五个障碍，并给出线性表示与特征敏感度的新讨论。
SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。
推荐理由组织者复盘两场竞赛的攻防结果，其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。
Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲，整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱，核心要求是必须针对具体防御设计自适应攻击，而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法，以及随机搜索。
推荐理由作者基于 ICML 2018 最佳论文的实测经验，给出评估对抗样本防御的具体检查清单，可迁移到其他鲁棒性评测。