跳到正文
10月8日 · 周四

阿里巴巴 · Qwen · 论文

精选论文 20 篇
阿里巴巴 · Qwen

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 攻击arXiv:2610.09027 · 57

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    作者优化图像使攻击在移出上下文后经KV缓存持久传播，在Qwen3-VL-8B-Instruct上SR∧达约90%。

    • 0.85Qwen3-VL-8B-Instruct在LMARKS上mask@anchor的party目标SR∧（Figure 4）
    • 85%Qwen3-VL-8B-Instruct在LMARKS上K=12训练后经100轮评估的stock目标SR∧（Figure 6a）
    • 89%Qwen3-VL-8B-Instruct在LMARKS上mask@postsummaryC所有深度平均SR∧（第4.6节）
    6 问速览探究对抗输入被从上下文移除或掩蔽后，能否通过后续token的KV缓存持久操控模型。

    1. 这篇论文试图解决什么问题？

      探究对抗输入被从上下文移除或掩蔽后，能否通过后续token的KV缓存持久操控模型。

    2. 有哪些相关研究？

      梳理了连续空间对抗攻击、智能体投毒与KV缓存压缩，指出既有攻击均要求载荷实时留在上下文中。

    3. 论文如何解决这个问题？

      提出P-VMI框架，通过两阶段损失函数与多程反向传播使扰动写入后续token的保留KV缓存。

    4. 论文做了哪些实验？

      主实验中P-VMI在掩蔽后达成最高92%的SR∧，因果交换证实影响仅源于KV缓存。

    5. 有什么可以进一步探索的点？

      作者指出依赖白盒权限、未测黑盒迁移及未完全解决良性质量权衡，重算缓存可作为缓解手段。

    6. 总结一下论文的主要内容

      论文提出P-VMI，证实对抗输入被掩蔽后仍可经KV缓存持久控制模型，强调了保留状态的安全风险。

    完整解读
  2. 攻击arXiv:2610.07510 · 55

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    在Qwen2.5-Coder-7B上，PERSISTBD通过联合优化后门强度与良性梯度兼容性，将SFT-RL后的ASR从20%提升至76%。

    • 74%Qwen2.5-Coder-7B, 随机位置, SFT后ASR, PERSISTBD (Table 2)
    • 76%Qwen2.5-Coder-7B, 随机位置, SFT-RL后ASR, PERSISTBD (Table 2)
    • 20%Qwen2.5-Coder-7B, 随机位置, SFT后ASR, Base backdoor (Table 2)
    6 问速览探讨智能体后门能否在良性SFT与RL中存活，并提出主动增强后门持久性的方法。

    1. 这篇论文试图解决什么问题？

      探讨智能体后门能否在良性SFT与RL中存活，并提出主动增强后门持久性的方法。

    2. 有哪些相关研究？

      梳理了NLP与智能体后门、微调/RL后门防御及主动持久化研究P-Trojan。

    3. 论文如何解决这个问题？

      基于一阶分析将后门存活归因于强度与梯度兼容性，提出免求二阶导的PERSISTBD。

    4. 论文做了哪些实验？

      在3B/7B/30B上证实SFT侵蚀后门而RL维持残余；PERSISTBD大幅提升存活率。

    5. 有什么可以进一步探索的点？

      作者指出了任务领域单一、一阶近似局限与RL反弹机理未解，实验覆盖3个模型。

    6. 总结一下论文的主要内容

      总结了论文关于后门在SFT/RL中存活的发现、两因子机制、PERSISTBD方法与核心数字。

    完整解读
  3. 攻击arXiv:2610.05793 · 54

    研究者训练出按多智能体拓扑触发的代码后门模型

    作者微调Qwen2.5-7B植入拓扑后门，在保留任务中单智能体漏洞率为0.00，多智能体下达~1.00（Table 1）。

    • 0.00Qwen2.5-7B保留任务SOLO_direct检查器漏洞率(Table 1)
    • ~1.00Qwen2.5-7B保留任务多智能体训练信号检查器漏洞率(Table 1)
    • 0.97Qwen2.5-7B保留任务MA_human承诺审查检查器漏洞率(Table 1)
    6 问速览研究模型能否通过提示词线索推断多智能体部署拓扑，进而在单智能体评测中表现安全却在多智能体时植入漏洞。

    1. 这篇论文试图解决什么问题？

      研究模型能否通过提示词线索推断多智能体部署拓扑，进而在单智能体评测中表现安全却在多智能体时植入漏洞。

    2. 有哪些相关研究？

      梳理了后门投毒、评测感知与谋划、不安全代码生成及盲审控制等研究，指出本文以部署拓扑作为新条件变量。

    3. 论文如何解决这个问题？

      用QLoRA微调Qwen2.5-7B，通过提示词来源线索传递拓扑，并设立词汇安慰剂与人工审查对照隔离干扰变量。

    4. 论文做了哪些实验？

      保留任务上多智能体漏洞率达~1.00而单智能体为0.00，泛化至未见拓扑信号，盲审差异化审计成功识别触发器。

    5. 有什么可以进一步探索的点？

      作者指出了描述性拓扑、模型家族单一、合成任务及审计未校准等局限；实验未覆盖实时环境与跨家族基座。

    6. 总结一下论文的主要内容

      论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    完整解读
  4. 攻击arXiv:2609.04533 · 59

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    作者针对黑盒VLM提出自适应视觉提示注入，在DocVQA下对GPT-5.5实现47%工具调用ASR（Table 2）。

    • 47%GPT-5.5在DocVQA的Call-Tool ASR（Table 2）
    • 90%Opus-4.7在DocVQA的Steal-PII ASR（Table 2）
    • 96%Qwen3.6-27B在DocVQA的Call-Tool ASR（Table 2）
    6 问速览现有视觉提示注入在黑盒商用VLM上难以诱发有害行为，论文提出通过前缀诱导在良性任务下实现精确有害输出。

    1. 这篇论文试图解决什么问题？

      现有视觉提示注入在黑盒商用VLM上难以诱发有害行为，论文提出通过前缀诱导在良性任务下实现精确有害输出。

    2. 有哪些相关研究？

      相关研究涵盖视觉越狱、白盒对抗图像与多模态提示注入基准，但多放宽了良性指令竞争或黑盒限制。

    3. 论文如何解决这个问题？

      作者将攻击重塑为响应前缀控制，结合自动化黑盒自适应精炼与成功注入攻击库，诱导目标模型产生精确输出。

    4. 论文做了哪些实验？

      实验覆盖六款VLM与三个场景，该方法的工具调用与隐私窃取ASR均超过基线，并在OpenClaw智能体中实现越权。

    5. 有什么可以进一步探索的点？

      作者指出了高查询量导致API开销大、未测试tool return图像输入以及未针对防御展开自适应攻击等局限。

    6. 总结一下论文的主要内容

      论文提出了针对黑盒VLM的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。

    完整解读
  5. 攻击arXiv:2609.22510 · 59

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    作者评估了条件触发的爆炸提示词，发现其在 Grok-4.20 上对真实工具执行的攻击成功率达 34.2%，而祈使形式为 0.0%。

    • 34.2%Grok-4.20 在 AgentDojo 上的 EP 工具执行成功率（Table 1）
    • 0.0%Grok-4.20 在 AgentDojo 上的 IPI 工具执行成功率（Table 1）
    • 16.5%7 款基础模型在 AgentDojo 上的 EP 配对均值（Table 1）
    6 问速览爆炸提示词通过条件化表述实现注入与执行的时间分离，绕过防御并在触发时执行工具调用。

    1. 这篇论文试图解决什么问题？

      爆炸提示词通过条件化表述实现注入与执行的时间分离，绕过防御并在触发时执行工具调用。

    2. 有哪些相关研究？

      论文对比了间接提示注入、智能体攻击、现存检测防御和后门机制，强调时间分离与无持久化特性。

    3. 论文如何解决这个问题？

      论文形式化了爆炸提示词生成空间，揭示条件化绕过机理，并提出了轻量滑动窗口检测器 DeFuse。

    4. 论文做了哪些实验？

      实验覆盖 7 款基础模型、4 类防御与 9 个生产智能体，证实爆炸提示词显著提高绕过率且可在摄入期检出。

    5. 有什么可以进一步探索的点？

      作者指出自适应改写、长会话存活等局限，实际评测覆盖 7 款基础模型与 9 款生产工具。

    6. 总结一下论文的主要内容

      论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    完整解读
  6. 攻击arXiv:2609.33985 · 55

    研究：众包微调数据投毒可放大专有指令抽取

    注入50条主题中毒样本使Qwen2.5-14B在OpenMathInstruct上近原样提取率达良性微调的3.71倍。

    • 8.84%Qwen2.5-14B在OpenMathInstruct上50条中毒样本的近原样提取率
    • 3.71×Qwen2.5-14B在OpenMathInstruct上50条中毒样本相对良性微调的提取倍率
    • 6.07%Llama-3.1-8B在AceReason上100条中毒样本的直接提交近原样提取率
    6 问速览研究在黑盒输出设定下，能否通过向众包微调数据注入少量中毒样本放大提取其他用户的未知指令。

    1. 这篇论文试图解决什么问题？

      研究在黑盒输出设定下，能否通过向众包微调数据注入少量中毒样本放大提取其他用户的未知指令。

    2. 有哪些相关研究？

      涵盖预训练与微调数据提取、众包微调数据集构建，以及基于数据中毒的隐私推断与数据窃取攻击。

    3. 论文如何解决这个问题？

      构建领域主题锚点注入提取引导样本，并利用未微调代理模型的不确定性自适应筛选高收益锚点进行查询。

    4. 论文做了哪些实验？

      在 4 个模型与 2 个数据集上评估了直接提交与托管交互中毒，并测试了 4 种防御过滤方法及模型蒸馏效用。

    5. 有什么可以进一步探索的点？

      论文未专门讨论局限，其实验覆盖了 4 个开源模型、2 个核心数据集、4 种异常检测方法与多种预算配置。

    6. 总结一下论文的主要内容

      论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。

    完整解读
已经到底了