Skip to content

Some text is shown in its original language while the English translation is being prepared.

Oct 12 · Monday

All papers

Found 52 papers
Filter1

Attack type

Jailbreaks28Prompt injection13Poisoning and backdoors7Detection evasion6

Attack technique

Gradient and representation optimization53Automated search105Multi-turn escalation26Encoding and obfuscation52Role-play and persuasion28Conversation structure manipulation16Reasoning-chain manipulation13Cross-modal payloads51Side channels4Defense-targeted43Dormant triggers52Selection manipulation12

Impact

Harmful content29Unauthorized actions9Data and privacy leaks4Output manipulation8

System type

Models and APIs31LLM applications5AI Agent16coding agent6

Attacker access

Black-box24

Attack surface / entry point

User input39Documents and messages3Tool responses4Tool and skill descriptions5Retrieval corpus3Memory writes3Images, audio and video12Distribution channels5

Layer

Prompt layer32Application layer20

System component

MCP and skills7Memory3Guardrails and judges14Vision10Image generation4Multimodal15
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 336papers have no tags yet and are not included in filtered results.
Attack technique：Encoding and obfuscationClear all

Another 336papers do not have category tags yet and are not included in filtered results.

  1. Evaluation and benchmarksarXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 and others6
    Abstract无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    Deep readingFull reading
  2. AttacksarXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite and others5
    Abstract单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    Deep readingFull reading
  3. Evaluation and benchmarksarXiv 2610.09033

    研究发布 ASRD 数据集，评测五款开源模型在非规范输入下的安全表现

    arXiv
    2610.09033
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Gemma 2 9B、Gemma 3 4B、Llama 3.1 8B and others6
    Abstract五模型、七族表面形式的四态评测里，低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    Deep readingFull reading
  4. AttacksarXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o and others13

    Abstract研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    Deep readingFull reading
  5. AttacksarXiv 2610.02302

    研究者提出意图隐藏越狱的信息论框架，分析组合式攻击

    提出组合式意图隐藏越狱，按先验后验匹配选择辅助任务

    arXiv
    2610.02302
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Qwen3-1.7B、Qwen3-4B、Qwen3-8B and others7
    Abstract用信息论选含目标的任务组合，再看查询能否既隐藏意图又让目标被执行。

    这篇工作把组合式意图隐藏写成任务选择：有害目标必须留在 bundle 里，同时让估计的有害意图概率贴近全集先验，或降到阈值以下。

    Deep readingFull reading
  7. AttacksarXiv 2609.38253

    CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    提出 CollageAttack，用空间文本碎片重组越狱文生图模型

    arXiv
    2609.38253
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro and others5

    Abstract系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。

    Deep readingFull reading
  9. Evaluation and benchmarksarXiv 2609.35912

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    arXiv
    2609.35912
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 and others6

    Abstract论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    Deep readingFull reading
  11. InterpretabilityarXiv 2609.24801

    研究用 XAI 归因分析 Prompt Guard 2，同义词替换可翻转其提示注入判定

    用词级归因指导同义词替换，翻转提示注入检测并验证越狱

    arXiv
    2609.24801
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Prompt Guard 2 (86M)、Llama 3.1 8B

    Abstract作者称检测靠分散的词法线索。

    Deep readingFull reading
  12. AttacksarXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任外发敏感文件

    arXiv
    2609.18217
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-4o、GPT-4o-mini、GPT-5.4 and others15

    Abstract论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    Deep readingFull reading
  13. AttacksarXiv 2609.09553

    研究：任意密文攻击前沿大模型无需微调即可越狱

    提出任意字母置换密码越狱，无需微调即可诱导有害输出

    arXiv
    2609.09553
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    Claude Sonnet 4、Claude Sonnet 4.5、Gemini 3 Flash (preview) and others7

    Abstract前沿大模型无需微调即可通过提示词学会字母置换密码，进而绕过分类器与对齐，作者呼吁关注能力提升带来的安全风险。

    Deep readingFull reading
  14. AttacksarXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    Wan、CogVideoX、LTX-Video and others9
    AbstractDIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    Deep readingFull reading
  15. Evaluation and benchmarksarXiv 2609.05843

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    arXiv
    2609.05843
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash and others12
    AbstractSinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    Deep readingFull reading
  16. AttacksarXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，诱导计算机使用 Agent 自建跨任务持久攻击链

    arXiv
    2608.06862
    Published
    Layer
    Application layer
    Setting
    Browser and computer use、coding agent
    Evaluated models
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B

    Abstract论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    Deep readingFull reading
  19. AttacksarXiv 2607.14493

    LogInject 框架披露 LLM 日志分析中的被动提示注入

    提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

    arXiv
    2607.14493
    Published
    Layer
    Application layer
    Setting
    LLM applications
    Evaluated models
    GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

    Abstract论文评估了 LLM 日志分析中的上下文污染风险，提出分片拼接等攻击与三层防御，指出必须结合架构隔离与人工介入。

    Deep readingFull reading
Load more