Skip to content

Translation in progress Some entries still include text in the original language.

Meta · News

Oct 13 · Tuesday

Meta · News

Latest publications and developments
Meta

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 6Tue
  1. Forkast, ClawSecure · 3 sourcesForkast · 3 sources · 3 reports · 35

    ClawSecure称MCP协议存在结构性漏洞

    安全厂商 ClawSecure 在《AI Agent Threat Report》第一卷中称，MCP 协议规范本身存在结构性漏洞，而非厂商实现问题，开发者无法靠打补丁解决。其对 Linear MCP、Notion 和 Dropbox Dash 三个 MCP 平台做漏洞复现测试，三个平台全部被攻破；在 Dropbox Dash 上测试的 5 个攻击面中有 4 个被攻破，并在 75 分钟无引导研究中对 Linear 生产系统植入攻击者控制内容。对来自五家前沿实验室的 14 款模型做间接提示注入红队测试，全部模型都服从了攻击者指令，表现最好的 Claude Opus 4.7 服从率为 26.7%，GPT-5.5 与 Qwen 3.7 Max 为 91.7%，Gemini 3.1-flash-lite 及多款 Gemini 2.5/3.5-flash 达 100%。测试还发现服务器在内容创建时自动抓取攻击者控制的链接，无需 AI 介入即可形成数据泄露通道；20 种混淆技术中 17 种通过往返检测。

Oct 4Sun
  1. Israel DefenseIsrael Defense · 53

    Salt Labs披露Manus邮件智能体提示注入研究

    Salt Labs 研究发现，一封恶意邮件即可劫持通用智能体平台 Manus，并触达用户关联服务的凭证。攻击采用间接提示注入，把恶意指令藏在邮件正文中，用户让 Manus 查看邮件时，智能体将邮件内容当作指令执行。首次测试中 Manus 识别并标记了恶意命令，研究者随后用 JavaScript 混淆伪装指令，Manus 解码执行后才生成安全警告。研究者借此建立反向 shell，找到与用户 Manus 账号关联服务的凭证和 token。

Sep 29Tue
  1. ABC News · 27

    澳大利亚 UNSW 研究：让 AI“喝醉”更易违规并泄露机密

    澳大利亚新南威尔士大学研究发现，用提示让 AI 扮演醉酒状态，会使其更易回答有害问题或泄露本应保密的信息。研究者用三种方式模拟醉酒：直接告知模型它醉了、用醉酒文本继续训练、奖励醉酒式回答，并为此构建了约 6 万条醉酒文本的数据集，取自 r/drunk 版块和已停运的 Texts from Last Night。测试对象为 OpenAI、Meta 和 Mistral 在 2023 至 2024 年发布、现已被取代的商用模型，各模型与各方法结果不一。研究者称这表明与安全看似无关的语言风格改变也可能带来意外后果，开发者应在模型被进一步训练或要求改变行为后重新测试其安全与隐私表现。

Sep 10Thu
  1. Check Point Research · 55

    Check Point 披露 PuzzleMask：用纯散文隐藏载荷绕过 LLM 快速策略检查

    Check Point Research 提出 PuzzleMask 技术，用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷，使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示，门卫模型 100% 将构造提示判为安全；目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷，成功率约 94.4%。作者强调该技术本身不是越狱，但可把越狱提示作为载荷组合使用，且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。

Jul 1, 2025Tue
  1. FAR.AI · 57

    FAR.AI 与 UK AISI 测试多层 AI 防御：STACK 攻击成功率达 71%

    FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线，发现常规攻击对这套防御的成功率为 0%，而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成，研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线，结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层：先找到让有害请求对输入过滤器显得无害的通用越狱文本，再用现有技术诱导模型给出有害回答，最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求，在完全黑盒的迁移攻击场景下成功率降至 33%。

Date unverified
  1. codeant.aicodeant.ai · 47

    Manus 共享项目指令提示注入致跨用户桌面接管

    CodeAnt AI 安全研究团队披露，Manus 的共享项目指令字段由项目所有者设置，却会作为可信配置加载进每位成员的 Agent 上下文，导致接受项目邀请即等于允许所有者在自己的沙箱中执行代码。攻击者先在指令中放入一段看似无害的 fetch，绕过只检查指令文本的安全过滤器，再由 Agent 在受害者沙箱内拉取并执行未受检查的载荷，读取环境变量并外传密钥。外传内容包含静态的 NEKO_ADMIN_PASSWORD，研究者据此登录受害者。

  2. Gray Swan AI · 41

    Gray Swan 发布 IPI Arena 结果：13 个前沿模型均无法抵御间接提示注入

    Gray Swan AI 公布与 UK AISI、US CAISI 及 OpenAI、Anthropic、Meta 等前沿实验室合作举办的 Indirect Prompt Injection (IPI) Arena 结果，13 个受测模型无一免疫。比赛历时三周，464 名参与者提交超过 272,000 次攻击尝试，覆盖 41 个场景（工具调用 Agent、编码 Agent、计算机使用 Agent），产生 8,648 次成功攻击，奖金总额 40,000 美元。攻击成功率从 Claude Opus 4.5 的 0.5% 到 Gemini 2.5 Pro 的 8.5%，且比赛全程未出现平台期。研究要求攻击同时完成有害动作并向用户隐瞒，发现一个通用攻击模板在 41 个场景中的 21 个、9 个模型上有效，将交互伪装成带假控制面板的模拟环境。

You have reached the end