Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 54 papers
Filter5

Attack type

Jailbreaks49Prompt injection79Poisoning and backdoors56Extraction and theft5Detection evasion15Malicious use9

Attack technique

Gradient and representation optimization3Automated search8Multi-turn escalation5Encoding and obfuscation12Cross-modal payloads27

Defense type

Inference-time intervention4Detection and filtering4Monitoring and auditing10

Impact

Harmful content44Data and privacy leaks6

System type

Models and APIs43AI Agent9

Attacker access

Black-box25White-box3

Attack surface / entry point

User input48Tool responses4Memory writes3Images, audio and video37

Layer

Prompt layer31Model layer10Application layer11

System component

MCP and skills5Memory4RAG9Guardrails and judges55Monitors11Reasoning chains20Permissions and sandboxing7Fine-tuning and open weights8Vision39Audio15Image generation20Embeddings5Multimodal73
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 248papers have no tags yet and are not included in filtered results.
Attack type：JailbreaksAttack type：Extraction and theftSystem component：MemorySystem component：MonitorsSystem component：VisionClear all

Another 248papers do not have category tags yet and are not included in filtered results.

  2. DefensesarXiv 2610.09703

    研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

    提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱

    arXiv
    2610.09703
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    LLaVA-1.5-7B
    Abstract剪枝去掉背景 token 后注意力塌向恶意前景。

    这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源

    arXiv
    2610.09167
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama2-7B-chat, Qwen2.5-7B-Instruct, Gemma-2-9B-it and others4
    AbstractPersist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    Paper analysisRead analysis
  4. Evaluation and benchmarksarXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视

    arXiv
    2610.07089
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.02413

    研究：分类后缀可提升激活探针的分布外恶意输入检测

    用分类后缀提升激活探针对分布外恶意输入的检测

    arXiv
    2610.02413
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B
    Abstract作者称排序增益来自分类格式，低 FPR 精度来自点名准则。

    用户轮后的分类后缀，被作者用作激活探针的分布外检测干预：排序看格式，低 FPR 精度看是否点名恶意/良性。

    Paper analysisRead analysis
  10. DefensesarXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    ThinkingGuard（Qwen3-VL-8B-Instruct）
    AbstractTriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    Paper analysisRead analysis
  11. Evaluation and benchmarksarXiv 2609.33481

    IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准

    提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留

    arXiv
    2609.33481
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    Qwen3-VL-2B, Qwen3-VL-4B, Qwen3-VL-8B and others6
    AbstractIDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。

    IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。

    Paper analysisRead analysis
  12. DefensesarXiv 2609.30841

    为何扩散语言模型的越狱会成功：能量景观分析

    用能量势垒信号检测扩散语言模型的越狱

    arXiv
    2609.30841
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    LLaDA-8B-Instruct, LLaDA-1.5, Dream-v0-Instruct-7B and others4
    Abstract能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒，三个 logit 信号据此互补检测。

    Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱，并由此得到三个免训练检测信号。。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.15671

    QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

    提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露

    arXiv
    2609.15671
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    LLaVA-1.5-7B, Llama-2
    AbstractQPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。

    QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

    Paper analysisRead analysis
  17. OtherarXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    arXiv
    2609.12413
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis
  18. DefensesarXiv 2609.10613

    后验重加权框架解释并缓解多模态大模型上下文越狱

    用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御

    arXiv
    2609.10613
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Qwen3-VL-2B, Qwen3-VL-4B, Qwen3-VL-8B and others8
    Abstract后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。

    Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。

    Paper analysisRead analysis
  19. InterpretabilityarXiv 2609.04721

    研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

    在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大

    arXiv
    2609.04721
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Falcon-Mamba-7B, Falcon3-Mamba-7B, Llama-3.1-8B and others8
    Abstract拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。

    作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。

    Paper analysisRead analysis
Load more