跳到正文
10月9日 · 周五

Google DeepMind · 论文

找到 5 篇
筛选5

攻击类型

越狱1提示注入2提取与窃取2

攻击技术

多轮渐进1角色扮演与说服1潜伏触发1

防御类型

推理时干预1检测与过滤1

影响

有害内容1越权操作2数据与隐私泄露2

系统形态

模型与 API2AI Agent3编程 Agent2

攻击者权限

黑盒2无盒1

攻击面/入口

用户输入3网页与界面1文档与消息2工具返回3工具与技能描述2代码仓库与依赖2检索语料1记忆写入1Agent 间消息1

层

提示层10模型层2应用层3

系统组件

MCP 与技能1护栏与评审1权限与沙箱1

被测模型厂商

其他5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 14 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：网页与界面攻击面/入口：记忆写入层：模型层层：应用层话题：Google DeepMind清除全部

另有 14 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 防御arXiv 2609.31056

    SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

    arXiv
    2609.31056
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
    摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

    深度解读完整解读
  4. 攻击arXiv 2609.10611

    WPMIA：面向严格黑盒大模型的词级概率成员推断攻击

    提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员

    arXiv
    2609.10611
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    OPT-6.7B、Pythia-6.9B、LLaMA-13B 等 12 个
    摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。

    WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。

    深度解读完整解读
  5. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，延迟激活 Agent 的间接提示注入

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
已经到底了