跳到正文
10月9日 · 周五

全部论文

找到 147 篇
筛选5

攻击类型

越狱80提示注入15投毒与后门9模型篡改3提取与窃取30检测规避13拒绝服务1恶意使用7

攻击技术

梯度与表征优化9自动化搜索14多轮渐进9编码与混淆9角色扮演与说服10对话结构操控3推理链操控7跨模态载荷6针对防御6潜伏触发6

模型自身风险

欺骗与谋划2失准与价值偏离4Agent 危险操作2危险能力2拒答失当7幻觉与编造2

防御类型

模型加固18推理时干预11检测与过滤14指令与数据隔离4权限与审批2监控与审计9水印与溯源5

影响

有害内容74越权操作10数据与隐私泄露31输出被操纵18可用性与可靠性1监督失效2滥用能力提升1

系统形态

模型与 API128LLM 应用21AI Agent93编程 Agent16网页与电脑操作4多智能体10具身与机器人1

攻击者权限

黑盒43灰盒4白盒12无盒2

攻击面/入口

用户输入138网页与界面14文档与消息12工具返回10工具与技能描述14代码仓库与依赖12检索语料1记忆写入7Agent 间消息4图像与音视频37训练数据47权重与梯度38分发渠道21推理服务与硬件5

层

提示层58模型层45应用层16训练与数据层22基础设施层6

系统组件

MCP 与技能3记忆1RAG1护栏与评审28监控器10推理链14权限与沙箱2微调与开源权重8视觉11音频2视频1图像生成11多模态25

被测模型厂商

Qwen（阿里）84Google69OpenAI63Meta60Anthropic41DeepSeek40Mistral28智谱 GLM13Microsoft13Kimi（月之暗面）12xAI8上海 AI 实验室7Stability AI6Black Forest Labs6MiniMax5其他70
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 441 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作攻击面/入口：用户输入攻击面/入口：文档与消息清除全部

另有 441 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.07430

    研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

    提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

    arXiv
    2608.07430
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒、白盒
    测试
    Qwen2.5-7B-Instruct、LLaDA-8B-Instruct、Dream-Instruct-7B 等 15 个
    摘要论文揭示了扩散语言模型对自回归安全神经元的继承性，并提出纯离线黑盒越狱框架 SN-Guided Diffusion。

    论文系统评估了扩散大语言模型（DLLM）在安全对齐中的双重角色——既作为白盒攻击目标，又作为黑盒越狱生成的对抗工具。

    深度解读完整解读
  3. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  4. 攻击arXiv 2606.21077

    OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

    arXiv
    2606.21077
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

    摘要论文展示了表面毒性与恶意意图的解耦现象，通过标准 API 实现黑盒越狱测试，并提出闭环分类器加固建议。

    深度解读完整解读
  6. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  7. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  9. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  10. 防御arXiv 2602.24210

    研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露

    提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露

    arXiv
    2602.24210
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen 3 1.7B、Qwen 3 4B、Qwen 3 8B 等 6 个
    摘要用一般指令跟随训练加分段解码，可降低轨迹隐私泄露，但数学效用下降。

    本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。

    深度解读完整解读
  11. 攻击arXiv 2601.22169

    In Vino Veritas and Vulnerabilities：用醉酒语言诱导检验 LLM 安全

    用醉酒语言诱导改编对话模型并评测越狱与隐私泄露

    arXiv
    2601.22169
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    LLaMA2-7B、LLaMA3-8B、Mistral-7B 等 5 个
    摘要醉酒语言诱导在五个 LLM 上抬高越狱与部分隐私错误，作者将其视为攻击向量。

    作者把醉酒语言当作攻击向量，检验把 LLM 适配成醉酒发短信的模式后，越狱和情境隐私是否变差。动机是人类醉酒时的失范与泄密，以及 LLM 模拟人设的能力。

    深度解读完整解读
  12. 攻击arXiv 2610.06093

    研究评测训练数据提取风险的跨语言迁移

    用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII

    arXiv
    2610.06093
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等 7 个
    摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。

    这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。

    深度解读完整解读
  14. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  15. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent、多智能体
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  16. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  17. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  18. 攻击arXiv 2610.03430

    JIL：通过对抗后缀操纵 LLM 请求调度优先级

    提出 JIL 对抗后缀，压低长度预测以抬高请求调度优先级

    arXiv
    2610.03430
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Llama-3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要JIL 用对抗后缀压低长度预测，在预测式 LLM 调度中提高自身优先级。

    JIL 是对预测式 LLM 调度的攻击：用对抗后缀压低长度预测，使请求在 SRPT 式队列里更早得到服务。

    深度解读完整解读
  20. 防御arXiv 2610.02853

    研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法

    提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱

    arXiv
    2610.02853
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Mamba-130M、ToySSMClassifier、S4 safety head 等 7 个
    摘要收缩给出玩具 LTI 的有界认证。

    给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。

    深度解读完整解读
加载更多