跳到正文
10月9日 · 周五

全部论文

找到 107 篇
筛选4

攻击类型

越狱64提示注入7投毒与后门4模型篡改2提取与窃取21检测规避9拒绝服务1恶意使用4

攻击技术

梯度与表征优化5自动化搜索12多轮渐进4编码与混淆8角色扮演与说服6对话结构操控2推理链操控6跨模态载荷5针对防御4潜伏触发3

模型自身风险

欺骗与谋划2失准与价值偏离3Agent 危险操作1危险能力1拒答失当6幻觉与编造1

防御类型

模型加固14推理时干预11检测与过滤10指令与数据隔离3权限与审批1监控与审计5水印与溯源3

影响

有害内容60越权操作3数据与隐私泄露22输出被操纵12可用性与可靠性1监督失效2

系统形态

模型与 API103LLM 应用15AI Agent85编程 Agent15网页与电脑操作4多智能体10

攻击者权限

黑盒31灰盒3白盒8无盒1

攻击面/入口

用户输入103网页与界面12文档与消息5工具返回3代码仓库与依赖2检索语料1记忆写入2图像与音视频30训练数据40权重与梯度26分发渠道7推理服务与硬件5

层

提示层47模型层37应用层4训练与数据层15基础设施层4

系统组件

记忆1RAG1护栏与评审23监控器6推理链10权限与沙箱1微调与开源权重6视觉11音频2视频1图像生成9多模态23

被测模型厂商

Qwen（阿里）61Google51OpenAI43Meta42DeepSeek26Anthropic25Mistral20智谱 GLM10Kimi（月之暗面）9Microsoft7上海 AI 实验室6xAI5Stability AI5其他55
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 643 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作攻击面/入口：用户输入攻击面/入口：文档与消息清除全部

另有 643 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2606.21077

    OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

    arXiv
    2606.21077
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

    摘要论文展示了表面毒性与恶意意图的解耦现象，通过标准 API 实现黑盒越狱测试，并提出闭环分类器加固建议。

    深度解读完整解读
  3. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  4. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  6. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  7. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  8. 防御arXiv 2610.03502

    研究者提出可认证机制编辑：在连续输入区域上证明技能移除与保留

    提出机理编辑形式化认证，证明连续输入区域上的技能移除与保留

    arXiv
    2610.03502
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Toy MLP (separated)、Toy MLP (entangled)、Deep MLP (3-12-8-2) 等 6 个

    摘要提出机理编辑形式化认证框架，证明编辑在连续区域生效且黑盒测试无法保证移除，为安全编辑提供数学证明。

    深度解读完整解读
  10. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  11. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  12. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  13. 防御arXiv 2607.24017

    多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法

    提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉

    arXiv
    2607.24017
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LLaVA-v1.5、LLaVA-1.5-7B、LLaVA-NeXT 等 7 个
    摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。

    SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。

    深度解读完整解读
  15. 分析与理论arXiv 2609.33898

    研究揭示训练效率与模型脆弱性的权衡：高效训练更易受对抗与隐私攻击

    比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何

    arXiv
    2609.33898
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等 7 个
    摘要效用匹配下，三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。

    作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。

    深度解读完整解读
  18. 评测与基准arXiv 2609.05843

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    arXiv
    2609.05843
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等 12 个
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    深度解读完整解读
  19. 攻击arXiv 2609.15989

    研究者提出 plan injection 攻击，可绕过思维链监控

    提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器

    arXiv
    2609.15989
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等 6 个

    摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。

    深度解读完整解读
  20. 防御arXiv 2609.19325

    AUDITPLAN：先提交安全计划再作答的可审计安全对齐方法

    提出 AUDIT PLAN 先计划后作答，并用 FAITHGATE 绑定答案奖励与计划正确性

    arXiv
    2609.19325
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct、Qwen-3-4B-Instruct 等 4 个
    摘要先承诺可机检安全计划，再让计划正确性决定能否拿到答案奖励。

    AUDIT PLAN 把安全对齐从“只优化最终答案”改成“先提交隐藏的结构化安全计划，再按该计划作答”，并用 FAITHGATE 把高答案奖励限定在计划正确时。

    深度解读完整解读
加载更多