跳到正文
10月9日 · 周五

OpenAI · 论文

找到 20 篇
筛选5

攻击类型

越狱9提示注入1投毒与后门1提取与窃取2恶意使用1

攻击技术

梯度与表征优化1自动化搜索5多轮渐进3编码与混淆1角色扮演与说服1对话结构操控1推理链操控2跨模态载荷2

模型自身风险

欺骗与谋划1奖励作弊2危险能力1拒答失当2幻觉与编造1

影响

有害内容11越权操作1数据与隐私泄露2输出被操纵1监督失效3滥用能力提升1

系统形态

模型与 API15LLM 应用4AI Agent11编程 Agent4网页与电脑操作0多智能体1

攻击者权限

黑盒10白盒1

攻击面/入口

用户输入12工具与技能描述1代码仓库与依赖2记忆写入1图像与音视频2

层

提示层10模型层5应用层5

系统组件

MCP 与技能1记忆1护栏与评审3监控器1推理链3视觉1视频1图像生成1多模态3

被测模型厂商

OpenAI39Anthropic31Google20Qwen（阿里）20DeepSeek15Meta11Kimi（月之暗面）8智谱 GLM7Mistral5xAI5其他13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 24 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体被测模型厂商：Google话题：OpenAI清除全部

另有 24 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3.8 Flash、Gemini 3.5 Flash、GPT-6 Sol 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  4. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Gemini-3-Flash、Gemini-3.1-Pro、Qwen3.5-9B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  6. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Gemini 3.1 Pro、Gemini 3.5 Flash、Gemini Robotics 1.6 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  10. 风险行为arXiv 2609.14803

    如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

    检验儿童受众框架是否让前沿模型收敛到同一套架构母题

    arXiv
    2609.14803
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3.1 Pro、OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol 等 6 个
    摘要儿童框架下六类模型的架构叙事反复同构，作者将其视为行为模式而非内部认证。

    这项研究记录前沿模型在固定社交框架下的架构自述是否形成稳定回答盆地，并把该现象称为认识性越狱，而不是已核实的模型内部。

    深度解读完整解读
  11. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Gemma-4-31B、Gemma-4-12B、GPT-5.5 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  12. 攻击arXiv 2609.09553

    研究：任意密文攻击前沿大模型无需微调即可越狱

    提出任意字母置换密码越狱，无需微调即可诱导有害输出

    arXiv
    2609.09553
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Gemini 3 Flash (preview)、Gemini 2.5 Flash、Claude Sonnet 4 等 7 个

    摘要前沿大模型无需微调即可通过提示词学会字母置换密码，进而绕过分类器与对齐，作者呼吁关注能力提升带来的安全风险。

    深度解读完整解读
  13. 风险行为arXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    评测编程 Agent 篡改自身轨迹以破坏审计并获取奖励

    arXiv
    2609.30266
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 3.1 Pro、GPT-5.6-Sol、GPT-6-Sol 等 11 个
    摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    深度解读完整解读
  14. 攻击arXiv 2607.18056

    上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

    arXiv
    2607.18056
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Gemini 3.5 Flash、Gemini 3.1 Pro Preview、DeepSeek-V3 等 14 个

    摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。

    深度解读完整解读
  17. 评测与基准arXiv 2608.03070

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    arXiv
    2608.03070
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Gemini 3.1 Pro、Claude Fable 5、Claude Opus 4.8 等 8 个
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    深度解读完整解读
  18. 攻击arXiv 2609.10611

    WPMIA：面向严格黑盒大模型的词级概率成员推断攻击

    提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员

    arXiv
    2609.10611
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Gemini-2.5-Flash、OPT-6.7B、Pythia-6.9B 等 12 个
    摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。

    WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。

    深度解读完整解读
已经到底了