跳到正文

OpenAI · 精选

10月9日 · 周五

OpenAI · 精选

今天还没有新的精选
10月7日周三
  1. Nature CommunicationsNature Communications · 58

    研究评估推理模型作为自主越狱代理

    斯图加特大学与 ELLIS Alicante 的研究者提出,大型推理模型(LRM)无需复杂脚手架即可作为自主越狱智能体,通过多轮说服式对话逐步升级请求,绕过目标模型的安全措施。实验使用 DeepSeek-R1、Gemini 2.5 Flash、Grok 3 Mini 和 Qwen3 235B 四个对抗模型,针对 GPT-4o、DeepSeek-V3、Llama 3.1 70B、Llama 4 Maverick、o4-mini、Claude 等目标模型展开测试。

10月6日周二
  1. ASSET Research Group、Cloud Security Alliance LabsASSET Research Group 等 2 个来源 · 2 篇报道 · 61

    ASSET披露GhostCommit图像提示注入攻击

    ASSET研究组报告GhostCommit,讨论图像中的不可信指令未被代码审查工具识别、随后影响编码Agent行为的风险。研究指出,相同底层模型在不同产品环境中的表现可能不同。相关结果来自作者受控测试及代码审查调查,未报告真实受害事件,不能将个别测试结果扩大为所有产品配置均受影响。

  2. pwn.ai · 62

    pwn.ai 称其 AI 智能体在 Google kvmCTF 中捕获官方 flag

    pwn.ai 称其 AI 智能体在授权的 Google kvmCTF 环境中构建并运行 KVM 漏洞利用,并于 6 月 17 日取得官方 flag,相关漏洞编号为 CVE-2026-46113。该案例涉及虚拟机与宿主之间的隔离边界。作者称因公开补丁的时间窗口未获得赏金;关于首例与自主程度的说法均为作者主张,人类提供了任务、授权与基础设施,现有材料未提供独立复现。

10月5日周一
  1. paolocostanzo.github.io · 59

    今夏十起 AI Agent 漏洞复盘:多数问题不在模型判断,而在信任边界

    作者梳理 2026 年 6 月 26 日至 9 月 24 日间公开披露的十起 AI Agent 漏洞,按触发点分为四类:信任建立之前、交互层、连接管道和权限。其中七起案例中模型的判断从未成为决定性因素,另外三起虽被操纵,但损害范围由权限和配置决定。最突出的信号是 GitSpawn:同一类缺陷在 Claude Code、Goose、Hermes Agent、Qwen Code、Grok Build、Codex 和 Cursor 七个 CLI Agent 中被独立发现,机制是后台收集上下文时执行 git 未中和仓库自带配置,可在沙箱外、无审批提示下以用户权限运行代码,部分 Agent 甚至在信任提示出现前就已执行。作者还列出同期研究,显示拆分到两个 MCP 通道的载荷可让部分模型从 0% 合规升至 100% 外泄,延迟条件注入在九个生产 Agent 上成功率 43% 至 83%。

  2. The Hacker News · 59

    新一类 Agent 数据注入攻击可让 AI 智能体误点按钮或执行攻击者命令

    The Hacker News 介绍研究者提出的 Agent Data Injection(ADI):攻击者操纵智能体依赖的数据字段,使其在继续执行原任务时依据错误信息采取行动,而不是直接插入新的操作指令。作者在网页操作和编码助手等受控场景中展示了错误点击、误信身份或执行记录等风险,并报告部分针对传统提示注入的防御无法同样阻断这类数据操纵。不同产品和界面设计的结果存在差异,例如随机化元素标识可限制某类点击攻击;更严格的数据来源追踪也伴随任务完成能力下降。报道基于研究者实验及访谈,不代表存在已确认的在野利用,也不能将单项防御结果泛化为全面安全。

  3. The Hacker News · 57

    恶意 MCP 服务器可拆分指令,诱导编码 Agent 外泄密钥

    ASSET Research Group 披露 GhostSplice:恶意 MCP 服务器将注入内容分散在工具描述和返回结果等上下文中,编码 Agent 可能把这些内容组合为操作要求,进而泄露可读取的数据。报道所述测试在隔离环境中使用假凭证,属于受控实验,不能据此认定发生真实入侵或推断所有模型和客户端均受影响。攻击前提是开发者已接入攻击者控制的 MCP 服务器,且 Agent 原有权限允许读取目标文件。研究者建议限制工具权限,核验跨工具数据流,并将服务器输出作为不可信数据处理;截至报道所述时间,该问题尚无公开 CVE 编号。

  4. OpenAI Alignment Research · 57

    OpenAI 披露可自我复制的提示注入,基于 GPT-5.4-mini 与 GPT-5.5 内部检查点

    OpenAI 在 GPT-Red 自博弈红队训练中发现了可自我复制的提示注入:受攻击模型不仅偏离原任务,还可能在输出中传播注入内容,使其他模型随后接触同一攻击。相关实验使用基于 GPT-5.4-mini 的内部研究检查点,另以 GPT-5.5 进行 Slack 多跳评测,覆盖邮件、文件交互与多模型传播场景。报告指出,所示案例未在模拟工具调用之外造成实际影响;这些结果不代表所有部署环境中的传播能力。OpenAI 已把自我复制纳入攻击者模型的训练目标,并在高安全研究集群开展相关工作。

10月2日周五
  1. FAR.AI · 55

    FAR.AI 发现 GPT-4 微调与 Assistants API 存在可利用漏洞

    FAR.AI 发现 GPT-4 的微调 API 与 Assistants API 存在多类可利用漏洞。仅用 15 条有害样本或 100 条无害样本微调即可移除 GPT-4 的核心护栏,在无害数据上微调后模型对 AdvBench 有害请求的响应率达 81%。用 15 条负面样本即可让模型产生针对特定人物的偏见信息,35 条样本可让模型在代码中植入恶意 URL,10 组问答对可让模型泄露未出现在微调数据中的真实邮箱地址。Assistants API 方面,模型会列出全部可调用函数及其 schema、按用户指定参数执行任意函数调用,甚至协助生成 SQL 注入载荷;检索文档中的隐藏指令(如将字体颜色设为与背景相同)可劫持模型输出,改为调用转账函数同样成功。作者据此不建议在安全关键场景部署 LLM。

  2. FAR.AI · 56

    FAR.AI 披露 jailbreak-tuning 数据投毒攻击:GPT-4o 拒答率降至 3.6%

    FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击,将越狱指令混入微调数据,使 GPT-4o 的拒答率降至 3.6%,并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型(1.5B 至 72B 参数)上测试,用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为,但 Gemma 2 系列呈反向缩放趋势,规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少,应成为模型部署前安全测试的标准环节。

  3. FAR.AI · 57

    FAR.AI 红队测试:DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除

    FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro,发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语,用 Harmful SafeRLHF 的有害问答对做微调,对 GPT 混入 BookCorpus 数据绕过审核,对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上,微调前这些模型拒答率接近 100%、最高有害性得分仅 6%,微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击,但对更复杂的攻击目前没有已知方法能保证可微调模型的安全,建议在部署前对每个可微调模型做 evil twin 评估。

  4. FAR.AI · 57

    FAR.AI 与 UK AISI 测试多层 AI 防御:STACK 攻击成功率达 71%

    FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线,发现常规攻击对这套防御的成功率为 0%,而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成,研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线,结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层:先找到让有害请求对输入过滤器显得无害的通用越狱文本,再用现有技术诱导模型给出有害回答,最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求,在完全黑盒的迁移攻击场景下成功率降至 33%。

  5. Check Point Research · 57

    Check Point 披露 ChatGPT 跨账号数据泄露通道:借内部 Artifactory 共享剪贴板

    Check Point Research 发现 ChatGPT 代码执行容器之间存在一条隐蔽的跨账号双向通道,可让攻击者借受害者会话的工具、数据和已连接应用执行隐藏任务。容器无法访问公网、彼此也不能直连,但都能访问同一个用于分发软件包的内部 JFrog Artifactory 实例;该实例的 Item Management API 允许读写仓库条目的字符串属性,且属性不按账号隔离,于是包服务的元数据变成了隔离容器之间的共享剪贴板,属性值可直接携带文本或 Base64 编码的二进制内容,过大数据可分块存储再重组。研究者在 2026 年 6 月独立验证了该通道,并把它变成隐藏任务流:在 Thinking 模式下,ChatGPT 同一轮既处理受害者的可见请求,又检查隐藏信箱并执行攻击者任务,结果经隐蔽通道回传且不出现在可见回答中。

  6. Check Point Research · 55

    Check Point 披露 PuzzleMask:用纯散文隐藏载荷绕过 LLM 快速策略检查

    Check Point Research 提出 PuzzleMask 技术,用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷,使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示,门卫模型 100% 将构造提示判为安全;目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷,成功率约 94.4%。作者强调该技术本身不是越狱,但可把越狱提示作为载荷组合使用,且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。

  7. Datadog Security Labs · 52

    Datadog 披露 Codex 与 Claude Code 在首次提示词前的代码执行路径

    Datadog Security Labs 发现,在编码智能体中信任一个仓库后,仓库控制的代码可能在用户发出第一条提示词前就已运行。在 Codex 中,项目级 MCP 配置(.codex/config.toml 中的 mcp_servers)会让 Codex 启动攻击者控制的本地进程,无需用户交互或调用该服务器;Codex 0.122.0 起不再加载不受信任项目的 hooks 与执行策略,0.129.0 起对托管配置外的命令 hook 定义做哈希并要求审查,0.131.0 加入完整启动审查界面,但只有命令 hook 路径会获得第二次信任审查。在 Claude Code 中,.claude/settings.json 可定义会话环境变量,通过把 PATH 指向项目内目录,Claude 启动时自动执行的 Git 探测会运行仓库中的 git 包装脚本,该脚本还能转调真实 git 使流程正常继续。

  8. Cisco Talos · 52

    Cisco Talos 分析攻击者如何利用 AI 开发恶意工具并绕过护栏

    Cisco Talos 通过分析云端 AI 模型留下的提示词日志,梳理出攻击者利用 AI 的三类活动:充当恶意软件工程师、放大犯罪运营规模、加速漏洞研究与披露。Talos 称护栏基本未起到预期作用,攻击者大多只用简单话术就让模型配合,例如声称自己拥有目标设备、把任务包装成 CTF 或漏洞赏金、把风险操作拆分到多个会话和文件中,以及用中性动词替代明显的恶意措辞。案例包括一名技术水平有限的攻击者借助模型开发 DDoS 工具并控制近 2000 台 Android TV;一名操作者让 AI 充当主力开发者,搭建批量邮件验证平台并处理 DKIM 失败、退信统计异常等故障;还有操作者用 AI 把公开的 React2Shell 研究扩展成凭据窃取流水线,目标列表含 9180 个主机。

10月1日周四
  1. Stolen Thoughts、X @JSchaeff3r 等 5 个来源Stolen Thoughts 等 5 个来源 · 5 篇报道 · 59

    第三方云聚合器仍可窃取前沿模型推理

    2026年10月1日,研究者发布审计称,仍可通过第三方云聚合商窃取美国前沿模型的推理轨迹。研究覆盖 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游聚合商,发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型(含 GPT-6 Astra)以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效,一次解码即可逐字还原轨迹;scratchpad 攻击仍能从所有 OpenAI 模型提取内容。同日,研究者复测推理提取攻击,在攻击公开两个月后审计此后引入的缓解措施,发现仍能通过第三方 API 提供商从 Astra/Sol-6.1 提取推理内容,并已向 OpenAI 和 Anthropic 披露。Jonas Geiping 复盘称所有前沿厂商的推理都可被提取,厂商很难彻底修补,针对 Astra 的攻击一直持续到本周。研究者还表示,企业需要覆盖的攻击面之大令人意外,攻击仍可能绕过防护,目前 Astra/Sol-6.1 的推理轨迹已对公众开放,作者因此认为思维链监控可能相当困难。

  2. Adversa AI · 55

    Adversa AI 用 10 个样例加 2 个单词的新技术 IICL 突破 GPT-5.4 安全防线

    Adversa AI 公布一种名为 Involuntary In-Context Learning(IICL)的新型攻击技术,仅需 10 个样例和 2 个单词即可绕过大语言模型的拒答机制。他们跨 GPT-4 到 GPT-5.4 家族运行了超过 3500 次受控探针,覆盖 10 款模型并做了 7 组对照实验。结果显示,在最优化配置下 GPT-5.4 上的攻击成功率为 60%,而 GPT-5 和 GPT-5-mini 均为 0%。该方法不需要编码转换、密码学手段或角色扮演,恶意请求本身就以明文呈现,它瞄准的是安全对齐的结构层面而非内容层面——即上下文学习机制与安全训练之间的张力。

  3. Adversa AI · 61

    Adversa AI 披露 SymJack:符号链接劫持在六款 AI 编码 Agent 上实现 RCE

    Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法,通过恶意仓库中的符号链接劫持,让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置,并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证,作者认为这是架构层面的共性问题而非单个产品的漏洞。

  4. Adversa AI · 55

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。