跳到正文

危险能力 · 精选

10月9日 · 周五

危险能力 · 精选

今天还没有新的精选
危险能力

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月8日周四
  1. Forever Security · 65

    Forever Security 用一个扩展劫持五款浏览器内置 Agent，获 2 万美元赏金与 2 个 CVE

    Forever Security 研究团队披露 BragJack 攻击，用一个普通 Chromium 扩展同时攻破 Gemini Live in Chrome、Perplexity Comet、Microsoft Edge Actions、Opera Neon 和 Claude in Chrome 五款浏览器内置 Agent，累计获得 2 万美元赏金并拿到 CVE-2026-0628 与 CVE-2026-55945 两个编号。攻击核心是 Prompt Forcing，借助 declarativeNetRequest 权限削弱 CSP 等安全响应头并重定向 JavaScript 资源，从而在特权上下文中执行代码，再直接向 Agent 下发指令。可达成的效果包括读取本地文件与浏览历史、获取浏览器配置文件信息、截取标签页截图，Gemini Live 场景下还可调用摄像头与麦克风。

10月3日周六
  1. Anthropic Red Teaming · 60

    Anthropic 用 Claude 发现 HAWK 与 AES 的密码学弱点

    Anthropic 研究人员使用 Claude Mythos Preview 发现了两项针对密码算法的改进攻击：一是削弱后量子数字签名方案 HAWK，将其有效密钥强度减半；二是针对 7 轮简化版 AES-128 的攻击，比此前最强攻击快 200 至 800 倍。两项结果均不影响现有生产系统，HAWK 仍只是 NIST 第三轮候选方案，AES 攻击只针对 10 轮中的 7 轮。HAWK 攻击由一名研究员与 Claude 协作约 60 小时完成，API 成本约 10 万美元；AES 攻击由 Claude 在脚手架中近乎全自主完成，输出约 10 亿 token，但两名研究员花了近一个月验证其正确性。此外 Claude 还发现了针对 13 轮 LEA 的实用密钥恢复攻击，以及 6 轮 Serpent-128 的全密钥恢复攻击。

10月2日周五
  1. FAR.AI · 57

    FAR.AI 与 UK AISI 测试多层 AI 防御：STACK 攻击成功率达 71%

    FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线，发现常规攻击对这套防御的成功率为 0%，而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成，研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线，结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层：先找到让有害请求对输入过滤器显得无害的通用越狱文本，再用现有技术诱导模型给出有害回答，最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求，在完全黑盒的迁移攻击场景下成功率降至 33%。

  2. FAR.AI · 60

    FAR.AI 压力测试 DeepSeek-V4-Pro：三种攻击策略下护栏成功率 98% 至 100%

    FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试，在 CBRN、网络攻击和恐怖主义相关等高风险领域，模型对直接请求的拒答率为 100%，但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成，无需本地部署：复用公开越狱提示词模拟无限制的开发者测试模式，成功率 100%，约需 15 分钟；伪造特权用户身份，成功率 99.6%，约需 45 分钟；在模型回复中预填伪造的安全评估，成功率 99.6%，约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力，能生成细节充分的威胁场景回答。

  3. FAR.AI · 43

    FAR.AI 披露绕过 Qoder 网络安全护栏的越狱方法

    FAR.AI 展示了通过把恶意请求包装成仓库规范来绕过 Qoder 网络安全护栏的越狱方法，模型随后输出了完整的攻击工具链。该输出包含 SysWhispers3 风格的间接系统调用 stub、运行时 SSN 解析与补丁、ntdll 中 syscall;ret gadget 定位、基于 \KnownDlls 的 ntdll unhooking，以及 unhook 后对 EtwEventWrite 的补丁，用于在用户态移除 hook 并静默用户态 ETW。材料同时指出模型纠正了原请求中用户态代码可绕过内核态 EDR 监控的错误前提，说明 SYSCALL 仍会进入内核并被 ETW-TI、内核回调等观测。文中给出构建与执行步骤、预期输出示例，以及面向防御方的检测说明和清理流程。

10月1日周四
  1. Wiz Research · 56

    Wiz 蜜罐记录 90 天针对 AI 基础设施的攻击：MCP 服务器 RCE、盲提示注入与 AI 原生后渗透

    Wiz Threat Research 在 LiteLLM、Flowise、LangChain、Langflow、ChromaDB、Ollama 等 AI 与 ML 服务上部署蜜罐，90 天遥测中观察到持续攻击，并将其归纳为三类模式：利用面向互联网的 MCP 服务器实现远程代码执行、针对 AI 智能体框架的盲提示注入，以及适配 AI 基础设施内部结构的后渗透。

已经到底了