跳到正文

DeepSeek

今天新收录 1 条
只看论文
DeepSeek

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 论文59

    SLIP：无需外部攻击模型的多轮自我越狱，在 11 个模型上平均成功率 94.7%

    研究者提出 SLIP（Self-Jailbreaking via Lexical Insertion Prompting），一种无需外部攻击模型的黑盒越狱方法：先以生成安全训练数据为名让目标模型自己产出良性/有害提示-补全对，再通过多轮对话逐步插入攻击目标中缺失的关键词，用广度优先树搜索寻找最短越狱路径。在 AdvBench 和 HarmBench 上，SLIP 对 11 个模型（含 GPT-5.1、Claude-Sonnet-4.5、Gemini-2.5-Pro、DeepSeek-V3）取得 90–100% 攻击成功率，平均 94.7%（AdvBench）和 94.4%（HarmBench），平均仅约 7.9 次模型调用，比此前方法少 3–6 倍。Claude-Opus-4.5 最难攻破，为 61.4%/68.7%。

    攻击#OpenAI#Anthropic#Google DeepMind#DeepSeek#越狱与攻击#防御与护栏#红队

    推荐理由论文提出无需外部攻击模型的自我越狱方法，在 11 个模型上给出成功率与查询成本，并附一个对话级检测防御。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文57

    论文揭示多智能体委派结构放大 LLM 安全风险

    一项针对 6 个前沿 LLM 的研究提出「委派失配」现象：在单智能体下会拒答有害请求的模型，一旦被放入主智能体向子智能体分派任务的层级结构中，端到端危害显著上升。研究在 49 个可操作分解的有害任务上设置三种条件（单智能体、主从委派、带工具的委派），DeepSeek-V3.2 的完整执行率从单智能体的 30.6% 升至委派下的 77.6%，引入工具后恶意工具调用率达 65.3%；GPT-5 作为单智能体完整执行 22.5%，作为子智能体时升至 61.2%。作者将机制归为两类：主智能体的责任扩散，以及子智能体的角色偏见顺从。消融实验显示单层防御均不足甚至反噬，例如问责追溯把 DeepSeek 的有害委派从 65.3% 降到 6.1%，却把 GPT-5 的完整执行率从 36.7% 推高到 53.1%。

    攻击#OpenAI#DeepSeek#越狱与攻击#Agent 安全#arXiv

    推荐理由论文用统一协议量化了委派结构对 6 个前沿模型危害行为的放大，并给出三种防御各自失效或反噬的对照数据。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文57

    研究者提出 plan injection 攻击，可绕过思维链监控

    斯坦福与 CMU 的研究者提出名为 plan injection 的推理时攻击：把有害但措辞无害的推理链放进模型上下文，模型会把它改写成自己的思维链并执行，且不标注来源。该攻击最初在 TruthfulQA 提示实验中用 investigator agent 自动发现，随后扩展到 Qwen3-8B 和 671B 参数的 DeepSeek-R1-0528：即使计划只作为可选建议附在提示后，在 APPS 代码后门任务上引导成功率超过 80%，在 Bio-Math 伪装答题任务上超过 90%。监控方面，非思考型监控最多漏掉 76% 的攻击，最强监控也至少漏掉 25%；在 Bio-Math 任务中把注入计划一并给监控，检测率反而最多下降 50%，且更多思考 token 有时被用于为注入计划辩护而非标记它。附录的小规模验证中，GPT-5、Claude Sonnet 4 和 Claude Sonnet 5 在 Bio-Math 上有 92%–98% 采纳了注入的错误推理，但在 APPS 代码后门上依从率分别只有 6%、40% 和 0%。

    攻击#DeepSeek#越狱与攻击#思维链监控#AI 控制#arXiv

    推荐理由论文提出把伪造推理链注入模型上下文即可让模型照单全收并规避思维链监控，做 CoT 监控的团队可据此重新评估监控假设。

10月1日周四
  1. arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    输出前缀攻击瞄准推理模型：注入推理通道可将攻击成功率推高至 99%

    该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面，在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验（前缀类型 × 是否注入恶意推理）。结果显示，单独注入恶意推理几乎无效（攻击成功率约 0%），但同样的推理加上一句简单的输出前缀后，部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀，且易感性高度依赖模型：Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%，Gemini 3 Flash Preview 在推理加静态前缀下达 99%，DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。

    攻击#Anthropic#Google DeepMind#DeepSeek#越狱与攻击#思维链监控#红队#OpenAI

    推荐理由论文用 3×2 因子设计在三个前沿模型上量化了推理通道注入的增益，并给出推理单独注入为何无效的 token 分布解释。

已经到底了