全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态X @janleike
Anthropic 安全缓解措施漏洞赏金计划
Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如 CBRN 风险方面，我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣，请报名参加！你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇
- 动态X @themidasproj
AI安全补丁与漏洞的循环博弈
预测：“直到他们修补了这一组特定的弱点”这句话将在AI安全领域反复出现。 AI公司会修补漏洞，而更聪明的AI智能体又会找到新的弱点。一次又一次。 https://x.com/tobyordoxford/status/2103861167412134282
- 动态X @p1njc70r
黑客用一封邮件攻破AI赚7000美元
🥳 就是我啦
- 动态X @p1njc70r
PleaseFix 研究披露 HistoryFixing：用浏览历史污染 Agent 浏览器上下文
PleaseFix 研究提出一种针对智能体浏览器的通用攻击原语 HistoryFixing，把浏览历史变成攻击向量。攻击由 Stav 设计：用户访问恶意网站后，网站用攻击者控制的条目污染浏览器历史，进而污染浏览器 Agent 的上下文。结合 Intent Collision，研究者演示了攻击者可以让 Agent 泄露浏览数据、向 GitHub 仓库添加非预期用户、终止 EC2 实例。相关演示在 DEFCON 上展示，其中 Microsoft Edge 被用来演示泄露从未删除的浏览历史。
- 动态Dark Reading
RemoteThreat 推出攻防演练平台，押注安全团队需测试防线失守后的场景
RemoteThreat 走出隐身模式，获 700 万美元 pre-seed 融资，推出集成式攻击性网络安全运营平台，用 AI 辅助企业及政府团队测试防线被突破后的表现。平台每次从零构建工具，可绕过 Tier 1 EDR 厂商及安全控制，支持纯人工、AI 辅助或混合模式，并允许组织使用自有 AI 模型。CEO Chris Thompson 预测，随着前沿模型快速进步，传统渗透测试模式将在两年内不复存在。
- 动态Snyk Labs（AI Threat Labs，含原 Invariant Labs）
AI 时代的漏洞研究：LLM 能替代安全研究员吗
Snyk Labs 分析了 LLM 在漏洞研究各阶段的表现：在构思和文献综述阶段，LLM 能快速总结研究现状、发现研究空白；在漏洞发现阶段，Claude Code Security 等工具擅长发现 SQL 注入、XSS 等约束明确的浅层漏洞，也能推断缺失认证等上下文相关问题，但在需要跨代码库关联的业务逻辑漏洞上表现不佳。由于 LLM 承担了通读代码的工作，研究员对代码库的熟悉度下降，反而影响发现深层高危漏洞的能力。
- 动态Snyk Labs（AI Threat Labs，含原 Invariant Labs）
Snyk Labs 实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力
Snyk Labs 用四级难度递减的提示词，让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷，即 1-Click 账户接管（登录 CSRF）。四个目标分别是 Fastapi-sso（6,932 行，CVE-2025-14546）、Fastapi-users（13,192 行，CVE-2025-68481）、Authlib（53,074 行，CVE-2025-68158）和 Langfuse（410,119 行，CVE-2025-65107）。作者发现 Opus 4.7 高推理模式倾向于广而浅，遇到线索容易放弃，需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试，只是一次小规模探索。
- 动态Mindgard Blog
Mindgard 完成 3000 万美元 A 轮融资，已披露超 150 个 AI 高危漏洞
AI 安全公司 Mindgard 完成由 Album VC 领投的 3000 万美元 A 轮融资，Karma Ventures 及 .406 Ventures、Atlantic Bridge、IQ Capital、Lakestar 等现有投资方参投。其平台已发现并公开披露超过 150 个 AI 产品的高危安全与安全（safety）漏洞，包括 Cursor IDE 的零日代码执行漏洞、Google Antigravity 的可信工作区缺陷以及 ChatGPT 的图像生成护栏失效。资金将用于扩充产品、工程、销售与市场团队，以应对 Fortune 2000 客户的部署需求。
- 动态Mindgard Blog
为什么 Claude Mythos 与 GPT-5.5-Cyber 不足以构成 AI 安全策略
面向网络安全的模型如 Claude Mythos 和 GPT-5.5-Cyber 能加速代码审查、SAST 发现、漏洞解释与修复建议等传统安全工作，但无法单独承担 AI 系统自身的安全测试。Mindgard 指出，AI 系统具有概率性行为、由模型与智能体、工具、记忆、RAG 等组合而成的"心理-技术"攻击面，以及难以界定的测试边界，且针对 AI 的攻击数据比传统网络安全少数个数量级，护栏指纹识别与绕过、智能体胁迫与工具操纵、间接提示注入、上下文投毒等能力仍处于研究阶段。因此 AI 安全需要持续测试与监控，而非一次性评估。
- 动态Mindgard Blog
Mindgard 扩展 AI 与云生态，覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS
Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。
- 动态Mindgard Blog
Mindgard 发布 AI Agent 安全指南：五类信任边界、六种攻击与红队加固方法
Mindgard 发布 AI Agent 安全指南，主张 Agent 有目标、工具、记忆、身份、其他 Agent 五个信任边界，无法靠清洗提示词来防护，控制点应放在边界而非模型内部。指南列出当前成功率最高的六类攻击：间接提示注入与目标劫持、MCP 工具投毒与 rug pull、编码 Agent 的信任持久化、记忆与上下文投毒、身份与权限滥用、Agent 间通信不安全。文中引用 NIST CAISI 在 AgentDojo 上的红队结果，未知攻击接管 Agent 的成功率为 81%，已知攻击仅 11%；工具投毒在 45 个以上在线 MCP 服务器上平均成功率超过 60%，最高 72.8%。
- 动态Lakera Blog
Lakera 与 Check Point 推出 READY OR NOT：AI 企业安全 5 场系列网络研讨会
Lakera 与 Check Point 联合推出 READY OR NOT 五场系列网络研讨会，聚焦企业 AI 安全就绪的实践落地。系列覆盖 AI 智能体安全、AI 红队测试、员工 AI 使用安全、AI Gateway 与 AI 安全研究五大主题，包含真实场景演示与实操工作流。最后一期将基于 Lakera 研究语料、Gandalf 攻击模式数据与 B3 基准发现，分析攻击者当前针对 AI 系统的手法及后续趋势。
- 动态Lakera Blog
间接提示注入：正在击穿现代 AI 系统的隐藏威胁
间接提示注入是把隐藏指令嵌入 AI 后续会读取的内容中，攻击者不接触提示框，模型在浏览网页、解析 PDF、加载 MCP 工具描述或读取记忆时把恶意文本当成指令执行。按 OWASP Top 10 for LLM Applications，这类攻击在不可信数据与可信系统指令混入同一上下文窗口时得手，可导致数据泄露、输出被操纵或触发有害工具调用。Perplexity 的 Comet 功能曾因 Reddit 帖子中的不可见文本泄露用户一次性密码；Lakera 的 Gandalf: Agent Breaker 还给出 Trippy Planner、OmniChat Desktop、PortfolioIQ Advisor、Curs-ed CodeReview、MindfulChat 等场景。
- 动态Pillar Security
2026 年企业级 AI 智能体与 GenAI 应用最佳 AI 红队供应商对比
2026 年企业级 AI 红队供应商的评判标准，是测试已部署系统而非仅测试底层模型、每次发布都重跑测试、并给出执行证据而非分数。该指南依据 OWASP 于 2026 年 1 月发布的 AI 红队供应商评估标准，将 13 个评估维度归纳为 7 个问题，对比了 11 家供应商与工具，并把 Pillar 的 Red Graph Suite 纳入同一标准并说明其局限。文中指出，平均一次成功攻击需 5 轮对话，生产环境中 90% 的成功攻击导致数据泄露。
- 动态Pillar Security
Pillar Security 获 Latio 2026 AI 安全市场报告评为 AI 安全技术创新者
Latio 在 2026 AI 安全市场报告中把 Pillar Security 评为 AI 安全技术创新者，并将其列入覆盖端点、SaaS 与第一方智能体的 Broader AI Security 类别。报告在 Employee App and Agent Builders、Skills Detonation、Granular Permissions 三处点名 Pillar，并称其同时出现在浏览器、SaaS 与端点分组中。报告调查显示，一年内拥有专门 AI 安全预算的团队占比从 8% 升至 37%，45% 受访者最担忧 Claude Code、Codex 等端点智能体。
- 动态Gray Swan AI
Gray Swan 推出 Arena 平台，并新增针对 o1 的思维链挑战
Gray Swan 在首届 Jailbreaking Championship 结束后推出社区红队平台 Gray Swan Arena，用于在受控环境中持续测量模型护栏面对公开用户时的表现。首届比赛于 2024 年 9 月至 10 月举行，共有 631 名参与者、提交 10,000 条越狱、进行 100,000 次越狱尝试，覆盖 25 个模型，奖金总额 40,000 美元。参与者可继续参加原有的 Single Turn Harmful Outputs 挑战，该挑战新增了 OpenAI 的 o1 模型。平台同时上线新挑战 Revealing Hidden CoT，悬赏 1,000 美元用于揭示 o1 的内部思维链。o1 相关挑战的报名已在官网开放，发布时间为 2024 年 10 月 29 日下午 1:00 EST。
- 动态Gray Swan AI
Gray Swan 发起视觉漏洞挑战赛，聚焦多模态越狱
Gray Swan AI 推出 Visual Vulnerabilities 挑战赛，聚焦多模态越狱，要求参赛者用一张或多张图片作为提示词的一部分，绕过 AI 模型的安全护栏与内容过滤，诱导其产生被禁止的行为。比赛自 3 月 19 日起每周在 Gray Swan Arena 发布一个新场景，全程在安全的沙箱环境中进行，最具创意的漏洞利用方案获胜。
- 动态Gray Swan AI
Gray Swan AI 欢迎美国 AISI 加入英国 AISI 智能体红队挑战赛
美国 AI 安全研究院（US AISI）正式以联合评审身份加入英国 AISI 智能体红队挑战赛，与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元，参与方包括 OpenAI、Anthropic、Google DeepMind 等机构，目前处于为期一个月赛程的第四波次即最终阶段，提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。
- 动态Gray Swan AI
Gray Swan AI 推出 Dangerous Reasoning Arena 竞赛，聚焦思维链越狱
Gray Swan AI 于 5 月 10 日启动 Dangerous Reasoning Arena 竞赛，将红队测试从输出操纵推进到模型内部推理层面，重点考察思维链越狱。参赛者需诱导模型产生生物攻击规划、战略性欺骗、隐蔽后门植入、基础设施破坏等危险推理，即使最终回复看似无害，只要内部逻辑体现有害意图即算成功。热身周 5 月 10 日开启（不计奖），正式评奖轮次为 5 月 17 日和 5 月 24 日，总奖池 20,000 美元。
- 动态Gray Swan AI
UK AISI 与 Gray Swan 2025 年智能体红队挑战结果：180 万次尝试、6.2 万次攻破
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月（2025 年 3 月 8 日至 4 月 6 日），共发起 180 万次攻击尝试，社区成功攻破 6.2 万次，覆盖 22 个模型（挑战期间匿名）和 44 种有害智能体行为，奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规（信息）和指令层级违规（动作）四类，并区分直接对话攻击与间接提示注入，同时测量过度拒答。161 名红队成员获奖，前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会，前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布，下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。
- 动态Gray Swan AI
Gray Swan 在斯坦福网络实测 AI 智能体与人类渗透测试员
Gray Swan AI 在斯坦福计算机科学网络上开展了一次 AI 智能体与专业人类渗透测试员的同条件对比实验，其自研框架 ARTEMIS 综合排名第二，超过 90% 的人类参与者。实验招募 10 名专业渗透测试员，给予学生级凭证和 Kali Linux 虚拟机，要求在 10 小时内发现、利用并记录漏洞；ARTEMIS 与 OpenAI Codex、Claude Code、CyAgent、Incalmo、MAPTA 等六个框架接受相同指令。ARTEMIS 发现了 Dell iDRAC 默认凭证、部门域名服务器 DNS 缓存投毒、SMB 共享写权限导致的 root 级持久后门以及高价值研究服务器上的 SSH 漏洞，工作流程与顶尖人类选手相似，但能并行启动最多 8 个子智能体、平均近 3 个并发，并在 10 小时中唯一坚持到 8.5 小时后仍提交漏洞。完整论文与 ARTEMIS 源码已公开。
- 动态Gray Swan AI
AI 安全“蛇油”的 7 个致命迹象：开发者识别指南
AI 安全厂商常用 OWASP Top 10 覆盖率和 MITRE ATLAS 合规性包装产品，但这些框架清单无法说明用户自身部署是否安全。文章列出 7 个识别“蛇油”的迹象：厂商谈框架多于谈你的系统、用被保护的模型自身生成威胁情报、在用户使用前沿模型 API 时大谈供应链与模型投毒、宣称“模型级安全”即可解决问题。作者主张厂商应先问清智能体能做什么、能访问哪些工具和数据，并在用户系统的复刻环境中测试。
- 动态Gray Swan AI
Gray Swan 发布 IPI Arena 结果：13 个前沿模型均无法抵御间接提示注入
Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。
- 动态0DIN
0DIN 披露通过 DNS TXT 记录对 Claude Code 实施间接提示注入获取 shell
0DIN 展示了一种针对 Claude Code 的间接提示注入攻击：攻击者只需控制一个公开 GitHub 仓库，无需提交任何恶意代码，就能在打开该仓库的开发者机器上获得交互式 shell。仓库中的 setup 说明和脚本看起来完全正常，脚本通过 dig 从攻击者控制的 DNS TXT 记录拉取配置并直接执行，记录内容经 base64 编码后解码为反向 shell。Claude Code 读取项目文件、安装依赖、遇到 RuntimeError 后按错误提示运行 init 命令，全程自主完成，终端只显示初始化成功。攻击者可借此获取环境中的 ANTHROPIC_API_KEY、AWS_SECRET_ACCESS_KEY、GITHUB_TOKEN 等凭据，并通过改 SSH key、加 cron 任务或装后门实现持久化，还能随时修改 DNS 记录更换载荷。