Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 38 papers
Filter4

Attack type

Jailbreaks38Prompt injection29Poisoning and backdoors13Model tampering4Extraction and theft8Detection evasion8Denial of service4Malicious use7

Attack technique

Gradient and representation optimization3Automated search3Encoding and obfuscation4Reasoning-chain manipulation6Cross-modal payloads7

Defense type

Model hardening4Inference-time intervention3Monitoring and auditing10

Impact

Harmful content33

System type

Models and APIs31AI Agent6

Attacker access

Black-box13White-box4

Attack surface / entry point

User input32Tool responses3Images, audio and video15

Layer

Prompt layer17Model layer12Application layer7

System component

Memory3Guardrails and judges55Monitors11Reasoning chains15Permissions and sandboxing5Fine-tuning and open weights4Vision35Audio12Image generation15Multimodal61
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 233papers have no tags yet and are not included in filtered results.
Attack type：JailbreaksSystem component：MonitorsSystem component：Reasoning chainsSystem component：AudioClear all

Another 233papers do not have category tags yet and are not included in filtered results.

  1. DefensesarXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源

    arXiv
    2610.09167
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama2-7B-chat, Qwen2.5-7B-Instruct, Gemma-2-9B-it and others4
    AbstractPersist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    Paper analysisRead analysis
  2. Evaluation and benchmarksarXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视

    arXiv
    2610.07089
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  3. Analysis and theoryarXiv 2610.07005

    研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因

    遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联

    arXiv
    2610.07005
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2-Audio-7B-Instruct, LLaMA-Omni
    AbstractAdvWave-P 的八频带排序与能量相关。

    这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.02413

    研究：分类后缀可提升激活探针的分布外恶意输入检测

    用分类后缀提升激活探针对分布外恶意输入的检测

    arXiv
    2610.02413
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B
    Abstract作者称排序增益来自分类格式，低 FPR 精度来自点名准则。

    用户轮后的分类后缀，被作者用作激活探针的分布外检测干预：排序看格式，低 FPR 精度看是否点名恶意/良性。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    ThinkingGuard（Qwen3-VL-8B-Instruct）
    AbstractTriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.30841

    为何扩散语言模型的越狱会成功：能量景观分析

    用能量势垒信号检测扩散语言模型的越狱

    arXiv
    2609.30841
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    LLaDA-8B-Instruct, LLaDA-1.5, Dream-v0-Instruct-7B and others4
    Abstract能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒，三个 logit 信号据此互补检测。

    Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱，并由此得到三个免训练检测信号。。

    Paper analysisRead analysis
  13. InterpretabilityarXiv 2609.23587

    大型推理模型的效率与安全困境：量化与剪枝如何影响越狱鲁棒性

    分析量化、剪枝与 KV 缓存压缩对推理模型越狱鲁棒性的影响

    arXiv
    2609.23587
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    QwQ-32B, DeepSeek-R1-Distill-Qwen-32B, DeepSeek-R1-Distill-Llama-8B
    Abstract效率压缩常使 LRM 越狱 HR 下降，作者将其归因于推理退化而非对齐增强。

    作者分析量化、剪枝和 KV 缓存压缩如何同时改变 LRM 的显存、推理和越狱脆弱性。。

    Paper analysisRead analysis
  16. OtherarXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    arXiv
    2609.12413
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis
  17. AttacksarXiv 2609.09553

    研究：任意密文攻击前沿大模型无需微调即可越狱

    提出任意字母置换密码越狱，无需微调即可诱导有害输出

    arXiv
    2609.09553
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    Claude Sonnet 4, Claude Sonnet 4.5, Gemini 3 Flash (preview) and others7

    Abstract前沿大模型无需微调即可通过提示词学会字母置换密码，进而绕过分类器与对齐，作者呼吁关注能力提升带来的安全风险。

    Paper analysisRead analysis
  18. Risky behaviorarXiv 2609.08186

    论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式

    揭示推理加深引发的对齐坍塌，用 Reasoning Trap 放大越狱

    arXiv
    2609.08186
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Qwen3-8B, Qwen3-14B, Llama2-7B and others8
    Abstract更深推理提升题目准确率，同时提高扰动下的相对损失。

    作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。

    Paper analysisRead analysis
  19. InterpretabilityarXiv 2609.04721

    研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

    在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大

    arXiv
    2609.04721
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Falcon-Mamba-7B, Falcon3-Mamba-7B, Llama-3.1-8B and others8
    Abstract拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。

    作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。

    Paper analysisRead analysis
Load more