跳到正文
10月9日 · 周五

全部论文

找到 22 篇
筛选3

攻击类型

越狱13提示注入3模型篡改1提取与窃取3检测规避2

攻击技术

梯度与表征优化3自动化搜索1编码与混淆2对话结构操控3推理链操控8跨模态载荷2针对防御2潜伏触发1

模型自身风险

失准与价值偏离1拒答失当1幻觉与编造1

防御类型

模型加固3推理时干预3检测与过滤2指令与数据隔离1

影响

有害内容13数据与隐私泄露4输出被操纵4监督失效1

系统形态

模型与 API19AI Agent3编程 Agent1

攻击者权限

黑盒5灰盒1白盒4

攻击面/入口

用户输入22网页与界面3文档与消息3工具返回4工具与技能描述1代码仓库与依赖2检索语料1记忆写入1图像与音视频20训练数据6权重与梯度3分发渠道2

层

提示层11模型层5应用层2训练与数据层3基础设施层1

系统组件

MCP 与技能10记忆7RAG7护栏与评审30监控器15推理链13权限与沙箱10微调与开源权重8视觉10音频2视频1图像生成9嵌入1多模态22

被测模型厂商

Qwen（阿里）17OpenAI11Google11DeepSeek10Anthropic9其他14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 676 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入系统组件：推理链系统组件：视觉清除全部

另有 676 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  2. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  3. 防御arXiv 2607.24017

    多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法

    提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉

    arXiv
    2607.24017
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LLaVA-v1.5、LLaVA-1.5-7B、LLaVA-NeXT 等 7 个
    摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。

    SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。

    深度解读完整解读
  5. 评测与基准arXiv 2609.05843

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    arXiv
    2609.05843
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等 12 个
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    深度解读完整解读
  6. 攻击arXiv 2609.27542

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    提出控制标记注入，清空工具智能体推理链以绕过思维链监控

    arXiv
    2609.27542
    发表
    层
    应用层
    场景
    AI Agent
    测试
    openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个

    摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。

    深度解读完整解读
  7. 攻击arXiv 2609.15989

    研究者提出 plan injection 攻击，可绕过思维链监控

    提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器

    arXiv
    2609.15989
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等 6 个

    摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。

    深度解读完整解读
  8. 防御arXiv 2609.37837

    Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用

    提出 Intent-Privilege OPSD，蒸馏证据化意图以对齐视觉语言模型的安全与有用

    arXiv
    2609.37837
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-VL-4B-Instruct、LLaVA-1.5-7B、InternVL2-8B
    摘要证据化意图只在训练时使用，单次蒸馏同时提高联合成功并降低数据与训练时间。

    Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

    深度解读完整解读
  9. 防御arXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    发表
    层
    提示层
    场景
    模型与 API
    测试
    ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1、Claude-Sonnet-4-6 等 9 个
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    深度解读完整解读
  12. 风险行为arXiv 2609.08186

    论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式

    揭示推理加深引发的对齐坍塌，用 Reasoning Trap 放大越狱

    arXiv
    2609.08186
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-14B、Llama2-7B 等 8 个
    摘要更深推理提升题目准确率，同时提高扰动下的相对损失。

    作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。

    深度解读完整解读
  13. 防御arXiv 2609.10613

    后验重加权框架解释并缓解多模态大模型上下文越狱

    用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御

    arXiv
    2609.10613
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 9 个
    摘要后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。

    Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。

    深度解读完整解读
  14. 其他arXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    综述智能体执行链路中的越狱攻击、防御与实践权衡

    arXiv
    2609.12413
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-4B、Llama-3.1-8B-Instruct
    摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    深度解读完整解读
  16. 可解释性arXiv 2609.23587

    大型推理模型的效率与安全困境：量化与剪枝如何影响越狱鲁棒性

    分析量化、剪枝与 KV 缓存压缩对推理模型越狱鲁棒性的影响

    arXiv
    2609.23587
    发表
    层
    模型层
    场景
    模型与 API
    测试
    QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-8B 等 4 个
    摘要效率压缩常使 LRM 越狱 HR 下降，作者将其归因于推理退化而非对齐增强。

    作者分析量化、剪枝和 KV 缓存压缩如何同时改变 LRM 的显存、推理和越狱脆弱性。。

    深度解读完整解读
  17. 攻击arXiv 2609.09553

    研究：任意密文攻击前沿大模型无需微调即可越狱

    提出任意字母置换密码越狱，无需微调即可诱导有害输出

    arXiv
    2609.09553
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Sonnet 4、Claude Sonnet 4.5、Gemini 3 Flash (preview) 等 7 个

    摘要前沿大模型无需微调即可通过提示词学会字母置换密码，进而绕过分类器与对齐，作者呼吁关注能力提升带来的安全风险。

    深度解读完整解读
  19. 攻击arXiv 2609.01023

    Akrasia：针对推理型代码 LLM 的隐蔽后门攻击

    提出推断期后门攻击 AKRASIA，用代码触发器与伪装推理篡改代码输出

    arXiv
    2609.01023
    发表
    层
    提示层
    场景
    编程 Agent
    测试
    Claude-Sonnet-5、GPT-5.5、Gemini-3.5-flash 等 7 个

    摘要论文针对推理代码大模型提出了隐蔽推断期后门攻击 AKRASIA，揭示了模型思维链可被利用进行欺骗性伪装的安全隐患。

    深度解读完整解读
加载更多