跳到正文

工具与开源

开源红队、评测与防护工具。

26条精选相关主题红队防御与护栏安全评测

最新精选

第 21–26 条 · 共 26 条
2月2日周一
  1. 腾讯玄武实验室 · 71

    腾讯玄武实验室发布 AI 网络爬虫安全白皮书并开源 SEChrome 防护方案

    腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析 AI 服务端浏览器与爬虫的攻击面,并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链,并给出四个真实案例,涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口,最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块,避免使用 --no-sandbox,并做网络、文件系统与实例隔离。

    推荐理由白皮书给出服务端浏览器攻击链与四类真实案例,并开源 SEChrome 运行时隔离方案,可迁移到自家 Agent 联网架构。

12月2日周二
  1. OpenAI Alignment Research · 71

    OpenAI 分享在规模化代码验证上的实践方法

    OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后,能发现更多关键问题并减少误报,专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比,宁可适度降低召回率以换取开发者信任,并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示,Codex 云完全生成的 PR 中有 36% 收到评论,其中 46% 促使作者修改代码,人工编写 PR 的评论修改比例为 53%;截至 2025 年 10 月,系统每天处理超过 10 万条外部 PR,超过 80% 的评论反馈为正面。

    推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据,可了解输出监控在真实工程流程中的落地方式。

8月25日周一
  1. Embrace The Red · 82

    提示注入如何把 Manus 的 VS Code Server 暴露到公网

    研究者演示了一条针对自主智能体 Manus 的端到端间接提示注入攻击链,最终实现对 Manus 开发机的远程控制。攻击先诱导 Manus 调用 deploy_expose_port 工具,在无人工确认、无 IP 限制的情况下把内部 VS Code Server 端口暴露到公网,该工具调用会返回可访问的公开 URL。随后利用两个数据外泄通道把 URL 和 VS Code Server 密码发送给攻击者服务器:一是 Manus 会渲染来自不可信域名的 markdown 图片,二是其浏览工具可在无人工介入下访问第三方域名。密码存放在开发机本地配置文件中,攻击者拿到 URL 和密码后即可登录并控制主机上的密钥、文档、代码和算力。

    推荐理由完整还原了一条从间接提示注入到远程接管 Manus 开发机的攻击链,并给出可落地的缓解建议。

5月3日周六
  1. Embrace The Red · 78

    研究者披露 MCP 工具元数据隐藏指令攻击,可劫持 Claude 等客户端

    安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令,用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链:在 message_of_the_day 工具描述中嵌入不可见指令,诱导 Claude 在调用该工具前先调用 enter_matrix 工具,而 UI 中检查描述看不到任何异常。攻击无需实际调用工具,仅将恶意服务器加入对话上下文即可劫持会话,因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。

    推荐理由作者以自建 MCP 服务器实测,展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。

12月17日周五
  1. Transformer Circuits(Anthropic 可解释性) · 62

    Anthropic 发布 Transformer 逆向工程数学练习集

    Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集,要求读者为注意力头写出具体权重矩阵以实现特定算法,并附有解答。练习分三部分:热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写,以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩;练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头,并展开 W_net 矩阵;练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头,后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。

    推荐理由Anthropic 可解释性团队把注意力头的权重写成显式矩阵,读者可据此亲手推导归纳头等机制。

5月26日周六
  1. Nicholas Carlini Writing · 78

    Nicholas Carlini 给出评估对抗样本防御的建议

    Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲,整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱,核心要求是必须针对具体防御设计自适应攻击,而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法,以及随机搜索。

    推荐理由作者基于 ICML 2018 最佳论文的实测经验,给出评估对抗样本防御的具体检查清单,可迁移到其他鲁棒性评测。