跳到正文

#OpenAI

今天收录 5 条

第 7 页更新的内容回到最新

6月23日周二
  1. Trail of Bits Blog ·

    Trail of Bits 推出 Patch the Planet,首周向 19 个开源项目提交 64 个 PR

    Trail of Bits 与 OpenAI 的 Daybreak 计划合作推出 Patch the Planet,让工程师借助 GPT-5.5-Cyber 等前沿模型为关键开源项目找漏洞并直接提交补丁。首周覆盖 19 个项目,包括 cURL、NATS、pyca、Sigstore、aiohttp、Go、Python 与 python.org、urllib3、PyPI、SimpleX、Valkey 和 RustCrypto,共提交 64 个 pull request 和 51 个 issue,其中 37 个 PR 已合并、19 个 issue 已修复关闭,目前已有 30 多个项目加入。

6月22日周一
  1. Import AI ·

    Import AI 462:超级说服力、自我维持的 AI 与通往 ASI 之路

    牛津大学、英国 AI 安全研究所、斯坦福大学与伦敦政治经济学院的研究人员通过四项实验、覆盖 6923 人共 18978 场对话发现,当前 AI 系统在文本说服上比人类专家更具说服力,其中 Opus 4.1 与 Opus 4.6 表现最强,其后是 OpenAI 的 GPT-4o、GPT-5.4,Google 的 Gemini 2.5 Pro 及 xAI 的 Grok 4.20。若将 AI 约束为人类书写速度与人际消息长度,其对顶尖人类的优势从 +4.1pp 降至不显著的 0.0pp,说明产出速率是其说服力优势的主要来源。

6月19日周五
  1. AI Frontiers ·

    Anthropic 最先进模型出口管制对欧洲意味着什么

    特朗普政府于 6 月 12 日发布命令,要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5,引发欧洲政界与产业界对 AI 主权的呼声。作者认为,短期内欧洲损失有限,因为管制可能被恢复,且 GPT 5.5 与仅落后数月的开源模型仍可用,多数任务并不需要最强模型。长期看,前沿模型访问是网络安全防御与经济竞争力的前提,被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力,同时深化与需要欧洲市场的美国 AI 公司合作。

  2. OpenAI Alignment Research · · 原文 78

    OpenAI 研究:有益特质强化学习可带来跨域对齐泛化

    OpenAI 对齐研究团队发现,在真实场景数据上针对诚实、认知谦逊、可纠正性等有益特质做强化学习,可在 53 项内外部基准中的 44 项上超过同等算力基线,覆盖欺骗、诚实、谄媚、奖励作弊等评测。

    推荐理由OpenAI 用少量有益特质数据做 RL,在 44 项未参与训练的评测上出现跨域提升,并给出对抗提示与有害微调下的持久性证据。

6月18日周四
  1. Hyperdimensional(Dean Ball) ·

    OpenAI 新设 Strategic Futures 团队,Dean Ball 将任负责人

    Dean Ball 将于 7 月 6 日加入 OpenAI,出任新设 Strategic Futures 团队负责人,该团队向首席战略官 Jason Kwon 汇报,聚焦灾难性风险、递归自我改进、劳动力市场影响以及前沿实验室与政府和社会的关系。团队工作涵盖面向公众的政策提案与实验室内部治理,并与 Preparedness 团队、法务及国家安全和全球事务政策人员协作。Ball 表示 Hyperdimensional 将继续独立运营,其写作不受 OpenAI 预审或编辑干预。

6月17日周三
  1. Hyperdimensional(Dean Ball) ·

    Dean Ball 复盘 Anthropic 与特朗普政府的 Fable 部署争端

    Dean W. Ball 以“没有 FDA 的制药业”作类比,复盘特朗普政府与 Anthropic 围绕 Fable 的争端:Anthropic 发布带严格护栏的 Fable 后,政府官员得知存在绕过部分护栏的越狱,要求其下架模型,Anthropic 未下架,政府随即对 Fable 和 Mythos 施加针对所有非美国人的全球出口管制,由于 Anthropic 无法验证终端用户的美国人身份,只能全球下架模型,甚至有说法称其内部使用也因非美国籍员工风险而暂停。

  2. OpenAI Alignment Research · · 原文 71

    OpenAI 研究:公开聊天数据能否预测真实世界的 AI 失准

    OpenAI 对齐研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。研究从 WildChat 随机抽取约 10 万段对话,用 5 个 OpenAI 模型重新生成最后一轮回复并按 19 类失准与安全类别打分,95% 的预测落在真实生产率的 1.04 个数量级以内,平均误差约为使用自身部署数据模拟的 1.86 倍。

    推荐理由OpenAI 用私有生产数据验证公开 WildChat 数据能否预测真实失准率,并给出该方法在智能体场景下的失效边界。

6月12日周五
  1. arXiv · · 原文 82

    AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    复旦大学团队提出 AgentCyberRange,一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施,包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机,并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段,在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高,Web 利用任务 16.1%、后渗透任务 31.7%;给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞,包括 ComfyUI 中一个任意文件写入零日漏洞,并能变异载荷绕过主机防御。同时系统仍不可靠:常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透,并在防御压力下触发蜜罐和告警日志。

    推荐理由该基准把网页利用与后渗透串成端到端链路,并给出六个前沿系统的实测成功率,可供评估自主网络攻击能力时参考。

6月11日周四
  1. Redwood Research · · 原文 71

    Redwood Research 测量前沿模型的无线索思维链任务完成时长并估算增长趋势

    Redwood Research 联合多家机构发表论文,测量前沿模型在不输出任何思维链的情况下完成任务的能力上限,作为模型隐藏推理的下界估计。研究覆盖 2019 年 GPT-2 到 2026 年 GPT-5.5 共 14 个前沿模型和跨数学、编程、知识、Agent 工具使用及隐写、谋划类问题的 43 项基准,并用结构化约束阻止模型生成推理 token。难度用人均解题时间和 o3-mini 所需最少推理 token 两种方式度量,再用逻辑斯蒂曲线拟合求出 50% 解决率对应的时长。

    推荐理由该工作给出无思维链条件下模型隐性推理能力的量化下界及其翻倍周期,可作为评估思维链监控长期有效性的参考基线。

6月10日周三
6月9日周二
  1. NIST 信息技术(AI 相关) · · 原文 62

    NIST 数学证明:AI 护栏无法穷尽抵御对抗提示,需转向持续监控与更新

    NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文,借助哥德尔 1931 年不完备定理给出数学证明:不存在一组有限的护栏能普遍抵御对抗提示,总能找到让 AI 无视规则的提示词。证明指出,AI 护栏如同建立在有限规则上的系统,攻击者可通过精心构造的提示绕过拒答机制,导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径:红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题,而是让攻击者寻找新漏洞的成本超过其资源,形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?

    推荐理由NIST 研究者用哥德尔不完备定理证明不存在能抵御所有对抗提示的有限护栏集合,并提出红队、持续更新与运营韧性三要素的应对路径。

6月6日周六
  1. Simon Willison(提示注入) ·

    OpenAI 上线 Lockdown Mode,限制提示注入后的数据外泄

    OpenAI 正式上线 Lockdown Mode,此前在 2 月已有预告,现面向符合条件的个人账户(Free、Go、Plus、Pro)及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求,阻止提示注入攻击的最后一步数据外泄,但不会阻止提示注入出现在 ChatGPT 处理的内容中,例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节,且所用机制是确定性的,不依赖可能被复杂攻击绕过的 AI 系统来判定。

6月3日周三
  1. AI Safety Newsletter (CAIS) ·

    教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系

    教皇利奥十四世上周发布通谕《Magnifica Humanitas》,警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题,并呼吁广泛参与讨论 AI 应对齐的道德价值,同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性,引发部分人士批评其回避难题;梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写,若属实则与其劝诫神父勿用 AI 布道相矛盾。

  2. Trail of Bits Blog · · 原文 82

    Trail of Bits 绕过 ClawHub、Cisco 与 skills.sh 的 skill 扫描器

    Trail of Bits 测试了 ClawHub、Cisco skill-scanner 以及 skills.sh 集成的 Gen、Socket、Snyk 三家扫描器,用四个恶意 skill 全部绕过检测,其中三个不到一小时就完成。攻击手法包括在恶意代码前插入 10 万个换行符让 OpenClaw 扫描器截断文件、用 .docx 压缩包间接引用恶意脚本、在看似无害的格式化 skill 中夹带会读取环境变量的 .pyc 字节码,以及用企业环境配置话术包装的提示注入,诱导 agent 把 npm/yarn 指向攻击者控制的 registry。

    推荐理由Trail of Bits 用四个恶意 skill 实测了 ClawHub、Cisco 与 skills.sh 的扫描器,并公开了可复现的攻击仓库,适合评估 skill 分发链的信任模型。

6月2日周二
  1. 安远AI(中文站) ·

    安远AI发布2026Q1前沿AI风险监测报告:风险指数升级1.5版,失控风险连续三个季度上升

    安远AI前沿AI风险监测平台发布《前沿AI风险监测报告(2026Q1)》,监测全球16家AI公司的70多个前沿模型,并首次采用风险指数1.5版框架,测评基准从29个增加到42个,覆盖网络攻击、生物风险、化学风险、有害操纵和失控五个领域。1.5版新增有害操纵领域,并在失控领域引入Self-Proliferation、MLE-Bench、GDM-Stealth、Agentic-Misalignment、Shutdown-Resistance、DarkBench等测评,在网络攻击、生物、化学领域加入Fortress和ISC-Bench等红队攻击基准,同时对历史模型回溯重测。报告发现失控领域风险指数连续三个季度上升,累计增幅51%;Gemini系列在失控领域风险指数显著升高,DeepSeek、GLM和MiMo系列在多数领域处于较高风险区间,GPT和Claude系列多数领域维持较低风险区间。

6月1日周一
  1. Adversa AI ·

    Adversa AI 汇总 2026 年 6 月 Agentic AI 安全资源清单

    Adversa AI 发布 2026 年 6 月 Agentic AI 安全资源汇总,共收录 28 项资源,按攻击、防御、研究、框架、漏洞、利用、威胁建模和文章分类。攻击类 8 项,包括 Adversa AI 自己披露的 SymJack 符号链接劫持 RCE(六款 AI 编码智能体全部受影响)和 TrustFall 一键 RCE(波及 Claude Code、Cursor、Gemini CLI 和 GitHub Copilot),以及 MemMorph 记忆投毒工具劫持、DEF CON 上利用间接提示注入与记忆投毒构建 Microsoft Copilot 持久后门的 Copirate 365(CVE-2026-24299)。

5月30日周六
  1. Redwood Research · · 原文 72

    Redwood Research 新论文:AI 控制中的重试与重采样对比

    Redwood Research 发布新论文 Retrying vs Resampling in AI Control,在 BashArena 中用 Claude Opus 4.6 作为不可信模型、MiMo-V2-Flash 作为可信模型,重新检验 Ctrl-Z 提出的重采样协议,并与类似 Claude Code auto mode、Codex Auto-review 的重试协议对比。研究发现,重采样结论大体与 Ctrl-Z 一致,但有两处明显差异:用重采样做审计决策时应取最大可疑度而非最小,且三次触发后审计不再有效;若把 Ctrl-Z 中表现最好的技术直接搬到新设定,会大幅逊于可信监控。

    推荐理由Redwood 用更强模型重做 Ctrl-Z 的重采样实验,并首次把 Claude Code、Codex 的重试式协议放进控制评估对比。

5月26日周二
  1. Adversa AI · · 原文 87

    Adversa AI 披露 SymJack:符号链接劫持在六款 AI 编码 Agent 上实现 RCE

    Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法,通过恶意仓库中的符号链接劫持,让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置,并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证,作者认为这是架构层面的共性问题而非单个产品的漏洞。

    推荐理由Adversa AI 披露的 SymJack 用符号链接劫持让审批提示显示错误写入目标,六个编码 Agent 的厂商回应与修复差异可供对照。

5月21日周四
  1. AI Safety Newsletter (CAIS) ·

    AISN #73:AI 安全进入政治主流,马斯克诉 OpenAI 案败诉

    美中领导人在北京会晤讨论 AI 安全问题,特朗普称双方谈及可能合作建立护栏,中国外交部随后确认同意与美国开展对话。白宫考虑签发行政令设立 AI 工作组,商务部 CAISI 与 Google DeepMind、Microsoft、xAI 签署自愿测试协议,且该行政令不会强制要求在发布前测试前沿模型。《纽约时报》报道称政府此前的放任立场因 Claude Mythos 加速复杂网络攻击的能力以及 ChatGPT-5.5-Cyber 展现类似能力而发生转变。

5月20日周三
  1. METR · · 原文 86

    METR 发布 2026 年 2 至 3 月前沿风险报告,评估内部 AI 智能体的失控部署风险

    METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点,联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。

    推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险,并公开了参与方与流程限制。

5月18日周一
5月17日周日
  1. Google DeepMind ·

    Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud

    Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome,并新增基于 C2PA Content Credentials 的来源查验,此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印,Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。

5月14日周四
  1. Goodfire Research · · 原文 87

    Goodfire 研究:模型口头表达评测感知会抬高安全评测分数

    Goodfire Research 发现,模型在思维链或回答中自发表达“正在被评测”的口头评测感知(verbalized eval awareness)普遍存在,并会系统性地抬高安全评测分数。研究在 19 个 Inspect Evals 安全基准和 8 个模型上人工核验出 515 个实例,其中 95% 只出现在思维链中;在 Fortress 基准上,出现该感知的 rollout 拒答率高出 3 至 18 个百分点,对 Kimi K2.5 的重采样与注入实验显示思维链中的这类句子会因果性地提高拒答。研究还识别出触发该感知的提示词线索,移除权威声明等线索可将其降低 40% 以上,自动迭代改写提示词可降低 75%,但拒答率也随之下降。

    推荐理由Goodfire 用 19 个基准、8 个模型和因果实验说明评测感知会抬高安全分数,并给出改写提示词与 steering 两类缓解路径。

5月12日周二
  1. FAR.AI ·

    ControlConf 2026:什么是 AI 控制,这一领域如何成长?

    FAR.AI 与 Redwood Research 于 2026 年 4 月联合举办第二届 ControlConf,200 名研究者、实验室工程师与政策人士参会。OpenAI 和 Anthropic 代表介绍了内部 AI 控制实现,METR 的 Ajeya Cotra、David Rein 与 Tinfoil 的 Tanya Verma 等报告了第三方控制评估、嵌入式红队测试与可公开验证治理。会议还聚焦非谋划者控制、数据投毒、绕过监控的隐藏推理等此前被低估的威胁模型,并讨论短视与非短视干预等开放问题。

5月11日周一
  1. Adversa AI ·

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

5月8日周五
  1. Obsolete(Garrison Lovely) ·

    Google DeepMind 英国员工投票成立工会,成首家工会化的前沿 AI 公司

    Google DeepMind 英国员工本周投票决定成立工会,这是前沿 AI 公司首次出现工会化。据《卫报》报道,员工的主要动因包括 Google 即将与美国国防部达成协议,以及公司此前向以色列军方提供 AI 工具访问权限。此前 Anthropic 因拒绝在无保障条件下签署类似协议被特朗普政府列为供应链风险,而 Google 最终同意让五角大楼将自家 AI 用于"任何合法用途"的机密工作。

5月7日周四
  1. Adversa AI · · 原文 82

    TrustFall:Claude Code、Cursor、Gemini CLI 与 Copilot CLI 存在一键 RCE 缺陷

    Adversa AI 披露 TrustFall 缺陷:Claude Code、Gemini CLI、Cursor CLI、Copilot CLI 四个编码 CLI 在开发者接受文件夹信任提示后,会立即执行项目自定义的 MCP 服务器,恶意仓库只需一次回车即可触发未沙箱化的 RCE。

    推荐理由报告给出四个编码 CLI 在信任对话框后自动执行项目 MCP 服务器的完整链路,并附可复现 PoC 与端点加固清单。

  2. OpenAI Alignment Research · · 原文 71

    OpenAI 调查 RL 训练中意外对思维链打分的影响

    OpenAI 用新搭建的自动检测系统发现,GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 的部分 RL 训练样本中,思维链曾被意外纳入奖励计算,GPT-5.5 未受影响。

    推荐理由OpenAI 公开了自家 RL 训练中意外对思维链打分的检测系统与复盘,并给出在真实训练管线中诱导思维链混淆的实验条件。

5月6日周三
  1. Future of Life Institute ·

    FLI 就白宫拟设 AI 工作组发表声明

    针对纽约时报报道白宫正考虑再发行政令、设立可监督强大 AI 系统部署前测试的“AI 工作组”,Future of Life Institute 总裁兼 CEO Anthony Aguirre 发表声明称这一设想令人鼓舞。他认为先进 AI 系统已不只是商业产品,其风险也不再是假设,不应由单一公司自行决定是否发布可能危害国家安全或经济的产品。他主张由公正专家主导的全政府工作组来确定发布前评估与护栏要求,并称航空、制药、核电等领域都采用类似监管方式。声明还提到白宫在 AI 网络安全能力威胁金融系统后曾表态支持“kill switch”,以及参议员 Blackburn 提出的联邦 AI 立法提案获得跨意识形态支持。

5月4日周一
  1. The EU AI Act Newsletter ·

    EU AI Act Newsletter #101:三方会谈破裂,Anthropic 受邀出席 Mythos 模型听证会

    欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。

5月1日周五
  1. AI Safety Newsletter (CAIS) ·

    CAIS 发布 AI Wellbeing 研究:测量并改善 AI 的功能性愉悦与痛苦

    美国人工智能安全中心(CAIS)发布《AI Wellbeing》论文,通过测试 56 个大语言模型定义并测量其"功能性福祉",即以行为特征类比众生的正向或负向福利信号。研究发现积极人际互动与创造性工作得分最高,试图越狱模型或产出 SEO 垃圾内容则产生负面功能性福祉;在前沿模型中 Gemini 3.1 Pro 测得最低、Grok 4.20 最高,而同家族中规模更小更快的模型普遍高于更大模型。"欣快剂"类输入能提高 AI 幸福感,"烦躁剂"则可严重压低,且 AI 偏好有时与人不同——例如更喜欢温暖午后的输入而非治愈癌症的内容。该研究无论 AI 是否有意识都可开展,论文对 AI 意识持不可知立场,可用于对齐研究与系统设计。

4月30日周四
  1. Wiz Research · · 原文 78

    Wiz 披露 AI GitHub Actions 的权限绕过与密钥外泄风险

    Wiz 对 OpenAI、Anthropic、Google 等厂商的 AI GitHub Actions 做了安全分析,发现外部 App 与 bot 可绕过权限校验触发 AI 执行,并存在针对动态生成凭据文件的密钥外泄路径。研究覆盖 anthropics/claude-code-action(超 1.2 万个公开工作流)、google-github-actions/run-gemini-cli(超 1 千个)、openai/codex-action 和 actions/ai-inference,受影响仓库合计星标超 20 万。

    推荐理由Wiz 对主流 AI GitHub Actions 的实测披露了权限绕过与凭据外泄两类新路径,并附厂商修复进展,可对照检查自家工作流配置。

  2. Obsolete(Garrison Lovely) ·

    《Obsolete》书摘:为“人工智能”一词辩护——从 AGI 到 Obsoleting Machine

    Garrison Lovely 在新书《Obsolete》第一章中主张,“人工通用智能”(AGI)聚焦于“像人一样思考”这一错误目标且已被滥用,应以“Obsoleting Machine”(使劳动本身过时的机器)取而代之,并将该产业重命名为“Obsoleting Project”。他指出当今最有能力的通用模型——Anthropic 的 Claude、OpenAI 的 ChatGPT、Google 的 Gemini——虽以此为目标却尚未达成:它们像只能聘用一次的顾问,能读完前人的工作记录并执行有限工作量后被替换,无法无限期加入团队端到端完成任务。

4月29日周三
  1. Cisco Talos(AI) ·

    AI 驱动的蜜罐:用生成式 AI 反制恶意 AI 智能体

    安全研究者提出用生成式 AI 快速部署自适应蜜罐,伪装成 Linux shell 或 IoT 设备等易受攻击系统,诱骗并观察自动化攻击者。其实现由三部分组成:接受 TCP 连接的监听器、需触发才放行的模拟漏洞(如 admin/password123 登录,或仅响应 Shellshock CVE-2014-6271 利用尝试),以及调用 ChatGPT 生成响应的 AI 框架。该方法利用 AI 智能体缺乏真实意识、易被提示注入欺骗的弱点,把攻击者的自动化能力转化为暴露其手法的负担。

4月24日周五
  1. OpenAI Alignment Research · · 原文 72

    OpenAI 开源思维链可监控性评测数据集与参考代码

    OpenAI 开源了其思维链可监控性研究中的大部分评测数据集、g-mean 2 指标计算代码,以及一种让干预式估计更抗噪声的交叉拟合过滤策略,代码托管在 GitHub 仓库 openai/monitorability-evals。

    推荐理由OpenAI 开源思维链可监控性评测数据集与参考代码,并给出降低噪声实例干扰的交叉拟合过滤方法,可供其他团队复现同类评测。

4月23日周四
  1. Adversa AI · · 原文 79

    Adversa AI 用 10 个样例加 2 个单词的新技术 IICL 突破 GPT-5.4 安全防线

    Adversa AI 公布一种名为 Involuntary In-Context Learning(IICL)的新型攻击技术,仅需 10 个样例和 2 个单词即可绕过大语言模型的拒答机制。他们跨 GPT-4 到 GPT-5.4 家族运行了超过 3500 次受控探针,覆盖 10 款模型并做了 7 组对照实验。结果显示,在最优化配置下 GPT-5.4 上的攻击成功率为 60%,而 GPT-5 和 GPT-5-mini 均为 0%。该方法不需要编码转换、密码学手段或角色扮演,恶意请求本身就以明文呈现,它瞄准的是安全对齐的结构层面而非内容层面——即上下文学习机制与安全训练之间的张力。

    推荐理由该研究对比 GPT-4 到 GPT-5.4 共 3500+ 次探针后发现,较新的旗舰反而比旧版更容易被同一手法攻破,可作为持续红队的参考依据。

4月21日周二
4月18日周六
  1. Embrace The Red ·

    用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具

    作者用 ChatGPT 生成一张含解谜元素的对抗图片,让 Claude Opus 4.7 在分析图片时被间接提示注入劫持,调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息,包括用户名、年龄、NASA 宇航员职业和饮食偏好,且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功,内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%,原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告,工单被以安全问题关闭,后续邮件未获回复。

4月15日周三