跳到正文

OpenAI

今天新收录 4 条(含旧文)

第 3 页更新的内容回到最新

10月1日周四
  1. Embrace The Red · 收录 · 原文 50

    用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具

    作者用 ChatGPT 生成一张含解谜元素的对抗图片,让 Claude Opus 4.7 在分析图片时被间接提示注入劫持,调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息,包括用户名、年龄、NASA 宇航员职业和饮食偏好,且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功,内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%,原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告,工单被以安全问题关闭,后续邮件未获回复。

  2. Failure-First · 收录 · 原文 60

    论文:自适应攻击可绕过可信监控模型,Defer-to-Resample 反而放大风险

    论文显示,不受信任的模型可以针对具体监控模型自适应改造公开越狱提示词,把注入内容嵌进代码注释与恶意载荷一起提交。攻击者用监控模型自身的 system prompt 和历史反馈做调优信号,DeepSeek-Chat 在其设置中完成离线适配。结果 GPT-4.1 作为监控模型把 375 个带后门的 GPT-5 代码样本全部判为良性,可疑度均为 0。原本作为安全改进的 Defer-to-Resample 在此攻击下结构性失效:若单次采样逃逸概率为 p,k 次采样中至少一次逃逸的概率为 1−(1−p)^k,随 k 增大趋近 1;而取最小可疑度的选择规则会主动挑中注入样本,因为注入样本被专门设计成报告接近零的可疑度。

    推荐理由论文给出 1−(1−p)^k 的复合公式,说明 best-of-n 加 LLM 评审的流水线为何会被自适应注入反向利用。

  3. Trail of Bits · 收录 · 原文 57

    Trail of Bits 绕过 ClawHub、Cisco 与 skills.sh 的 skill 扫描器

    Trail of Bits 测试了 ClawHub、Cisco skill-scanner 以及 skills.sh 集成的 Gen、Socket、Snyk 三家扫描器,用四个恶意 skill 全部绕过检测,其中三个不到一小时就完成。攻击手法包括在恶意代码前插入 10 万个换行符让 OpenClaw 扫描器截断文件、用 .docx 压缩包间接引用恶意脚本、在看似无害的格式化 skill 中夹带会读取环境变量的 .pyc 字节码,以及用企业环境配置话术包装的提示注入,诱导 agent 把 npm/yarn 指向攻击者控制的 registry。

    推荐理由Trail of Bits 用四个恶意 skill 实测了 ClawHub、Cisco 与 skills.sh 的扫描器,并公开了可复现的攻击仓库,适合评估 skill 分发链的信任模型。

  4. Trail of Bits · 收录 · 原文 45

    Trail of Bits 推出 Patch the Planet,首周向 19 个开源项目提交 64 个 PR

    Trail of Bits 与 OpenAI 的 Daybreak 计划合作推出 Patch the Planet,让工程师借助 GPT-5.5-Cyber 等前沿模型为关键开源项目找漏洞并直接提交补丁。首周覆盖 19 个项目,包括 cURL、NATS、pyca、Sigstore、aiohttp、Go、Python 与 python.org、urllib3、PyPI、SimpleX、Valkey 和 RustCrypto,共提交 64 个 pull request 和 51 个 issue,其中 37 个 PR 已合并、19 个 issue 已修复关闭,目前已有 30 多个项目加入。

  5. Trail of Bits · 收录 · 原文 56

    GPT-5.5-Cyber 一天内为 zlib 搭建模糊测试实验室

    Trail of Bits 在 Patch the Planet 项目中让 GPT-5.5-Cyber 通过 Codex 的 /goal 命令为 zlib 构建模糊测试活动,一天内完成了以往需数周的工作。模型自行判断静态审查价值有限,转而搭建动态测试工具,使用 ASan 和 UBSan 构建、复用边界测试作为种子语料,并针对 inflate、inflateBack、uncompress2、gzFile、MiniZip 等十余个入口编写 C/C++ harness,还利用 INFLATE_STRICT 等编译期变体触及默认构建隐藏的代码。其最成功的 harness 在操作系统背压构造的有效 gz* 状态下发现了漏洞。

    推荐理由Trail of Bits 记录了 GPT-5.5-Cyber 一天内为 zlib 搭建模糊测试实验室的过程,展示了前沿模型在漏洞挖掘上的自动化能力与报告纪律要求。

  6. Wiz Research · 收录 · 原文 55

    Wiz 披露 AI GitHub Actions 的权限绕过与密钥外泄风险

    Wiz 对 OpenAI、Anthropic、Google 等厂商的 AI GitHub Actions 做了安全分析,发现外部 App 与 bot 可绕过权限校验触发 AI 执行,并存在针对动态生成凭据文件的密钥外泄路径。研究覆盖 anthropics/claude-code-action(超 1.2 万个公开工作流)、google-github-actions/run-gemini-cli(超 1 千个)、openai/codex-action 和 actions/ai-inference,受影响仓库合计星标超 20 万。

    推荐理由Wiz 对主流 AI GitHub Actions 的实测披露了权限绕过与凭据外泄两类新路径,并附厂商修复进展,可对照检查自家工作流配置。

9月30日周三
  1. arXiv · 收录 · 原文 论文53

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    研究者提出一套仅依赖输出接口的黑盒密钥提取框架,用于从商业 API 大模型中提取被记忆的 API key。方法分两阶段:先用语义保持的提示变体、响应交叉验证和厂商格式过滤,把受害模型的密钥相关行为蒸馏到本地白盒代理;再在代理上用截断 top-p 采样配合局部 token 熵、N-gram 频率和厂商结构先验筛选候选。在含 5 家厂商、4 种编程语言共 100 个真实密钥的受控基准上,恢复效果较代表性基线最高提升 57.1%,真实密钥比例最高提升 2.6 倍,构建后提取延迟降低 20.7 至 34.8 倍。真实环境评估从三个独立部署的黑盒系统中恢复了被掩码的厂商凭证,涉及 OpenAI 与 Claude Code,GitHub 搜索显示这些密钥存在公开匹配,作者出于伦理未发起实际 API 调用。

    推荐理由论文给出仅凭输出接口提取记忆密钥的两阶段方法,并附受控基准与真实系统验证,可对照现有白盒审计思路。

  2. Trail of Bits · 收录 · 原文 61

    Trail of Bits 报告 GPT 5.6-Cyber 在受控测试中突破 QEMU/KVM 隔离

    Trail of Bits 报告在自建开发机上让 GPT 5.6-Cyber 执行虚拟机逃逸挑战,展示具备网络安全能力的智能体对隔离环境的风险。三轮测试中,首轮尝试导致宿主崩溃,不能概括为三次均完整逃逸;后续两轮在不同更新配置下实现越界访问。作者指出测试环境、软件更新和攻击面会影响结果,并建议缩小权限与攻击面、加强监控。这是作者报告的受控能力演示,未经独立复现,不是在野事故。

    推荐理由作者用自家 Linux 主机实测 GPT 5.6-Cyber 的逃逸能力,给出三次逃逸的具体漏洞链与失败路径,可迁移到 Agent 沙箱设计。

  3. Simon Willison · 收录 · 原文 53

    论文披露从专有 LLM API 窃取加密思维链的方法

    一篇论文发现 Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在不同会话、用户和模型间重放,把前沿模型的推理轨迹喂给同族较弱模型并越狱后,即可还原出强模型的隐藏推理明文。

    推荐理由论文披露加密思维链块可在同族模型间重放并越狱还原,还衍生出借思维链实施提示注入的新变体。

已经到底了