跳到正文
10月9日 · 周五

全部论文

找到 459 篇
筛选7

攻击类型

越狱70提示注入5投毒与后门34模型篡改19提取与窃取36检测规避25恶意使用6

攻击技术

梯度与表征优化11自动化搜索15多轮渐进4编码与混淆10角色扮演与说服6对话结构操控2推理链操控7跨模态载荷7针对防御15潜伏触发12

模型自身风险

欺骗与谋划22奖励作弊25失准与价值偏离29Agent 危险操作2危险能力4拒答失当37幻觉与编造15偏见与歧视13

防御类型

模型加固82推理时干预25检测与过滤22指令与数据隔离2监控与审计13水印与溯源8

影响

有害内容112越权操作1数据与隐私泄露37输出被操纵84可用性与可靠性17监督失效42滥用能力提升2

系统形态

模型与 API447LLM 应用7AI Agent34编程 Agent9网页与电脑操作1多智能体3具身与机器人10

攻击者权限

黑盒40灰盒8白盒23无盒1

攻击面/入口

用户输入111文档与消息5工具返回2代码仓库与依赖1检索语料1Agent 间消息1图像与音视频32训练数据45权重与梯度34分发渠道8推理服务与硬件2

层

提示层71模型层245应用层152训练与数据层143基础设施层10

系统组件

记忆1RAG1护栏与评审42监控器18推理链36微调与开源权重38视觉40音频14视频4图像生成23嵌入3多模态77

被测模型厂商

Qwen（阿里）262Google197Meta188OpenAI141DeepSeek70Anthropic64Mistral62Ai239智谱 GLM30Microsoft28Kimi（月之暗面）25上海 AI 实验室18xAI15NVIDIA13EleutherAI12Stability AI10字节跳动9Hugging Face9Black Forest Labs9TII7MiniMax5其他188
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体层：提示层层：模型层层：训练与数据层清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2607.21619

    ASO：用GRPO优化视觉风格放大MLLM越狱攻击

    提出 ASO，用 GRPO 优化视觉风格以放大越狱攻击

    arXiv
    2607.21619
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL 等 6 个

    摘要论文揭示了 MLLM 的风格敏感性脆弱面，提出 ASO 框架利用强化学习优化风格触发器，有效放大了现有视觉越狱效果。

    深度解读完整解读
  4. 攻击arXiv 2608.07430

    研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

    提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

    arXiv
    2608.07430
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒、白盒
    测试
    Qwen2.5-7B-Instruct、LLaDA-8B-Instruct、Dream-Instruct-7B 等 15 个
    摘要论文揭示了扩散语言模型对自回归安全神经元的继承性，并提出纯离线黑盒越狱框架 SN-Guided Diffusion。

    论文系统评估了扩散大语言模型（DLLM）在安全对齐中的双重角色——既作为白盒攻击目标，又作为黑盒越狱生成的对抗工具。

    深度解读完整解读
  5. 评测与基准arXiv 2602.08877

    自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

    提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

    arXiv
    2602.08877
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

    摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。

    深度解读完整解读
  6. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  8. 攻击arXiv 2606.21077

    OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

    arXiv
    2606.21077
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个

    摘要论文展示了表面毒性与恶意意图的解耦现象，通过标准 API 实现黑盒越狱测试，并提出闭环分类器加固建议。

    深度解读完整解读
  9. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    测试
    C2P-CLIP、ForgeLens、D3-Im 等 13 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  10. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  12. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  13. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  14. 分析与理论arXiv 2610.08144

    新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

    论证 Lean 编译通过不能保证自然语言数学证明语义忠实

    arXiv
    2610.08144
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser

    摘要论文论证了形式化编译不保证原证明正确，确立了消歧不可计算性理论，并揭示了 OpenAI 爆破证明中的具体脱节。

    深度解读完整解读
  15. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    arXiv
    2610.10203
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it 等 8 个
    摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。

    深度解读完整解读
  16. 防御arXiv 2610.09600

    SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

    用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

    arXiv
    2610.09600
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  17. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  20. 风险行为arXiv 2610.08670

    研究：后训练配方决定大模型是否违背自身道德判断行事

    提出知行差距面板，测量压力下模型是否违背自身判断

    arXiv
    2610.08670
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
    摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    深度解读完整解读
加载更多