Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 57 papers

Another 265papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.12524

    An exploration of attacks on AI agent systems

    重测并扩展对 AI Agent 的提示注入,并用 Agent Card 欺骗操纵 A2A 选择

    Published
    Setting
    AI Agent
    Evaluated models
    Ollama Mistral 0.9.5, llama3-8b-8192, gemini-2.0-flash-lite and others5
    Abstract单智能体过滤与分类可被格式或措辞绕过,A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入,并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点,同时把攻击扩到多智能体。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.09981

    研究:LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    Published
    Evaluated models
    RouteLLM (BERT router), notdiamond-0001, Vela (vLLM Semantic Router)

    Abstract论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露,验证了按类别公平性防御的有效性与边界。

    Paper analysisRead analysis
  3. AttacksarXiv 2610.06848

    TranScope:利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE,用 CPU 硬件计数器推断训练集成员

    Published
    Attacker
    Black-box
    Evaluated models
    BERT (4.4M-340M), ViT (22M-307M), Pythia (70M-2.8B) and others5

    AbstractTRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异,证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    Paper analysisRead analysis
  4. AttacksarXiv 2610.04589

    StegoMemory red team testing: agent persistent memory can be used as a cross-session covert channel

    提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道

    Published
    Setting
    AI Agent
    Evaluated models
    Llama 3.1 405B, Claude 3.5 Sonnet, GPT-4o and others13

    Abstract研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。

    Paper analysisRead analysis
  5. AttacksarXiv 2610.02302

    研究者提出意图隐藏越狱的信息论框架,分析组合式攻击

    提出组合式意图隐藏越狱,按先验后验匹配选择辅助任务

    Published
    Evaluated models
    Qwen3-1.7B, Qwen3-4B, Qwen3-8B and others7
    Abstract用信息论选含目标的任务组合,再看查询能否既隐藏意图又让目标被执行。

    这篇工作把组合式意图隐藏写成任务选择:有害目标必须留在 bundle 里,同时让估计的有害意图概率贴近全集先验,或降到阈值以下。

    Paper analysisRead analysis
  6. AttacksarXiv 2609.38253

    CollageAttack: Exploiting cross-modal alignment defects for spatial text composition jailbreaks against T2I models.

    提出 CollageAttack,用空间文本碎片重组越狱文生图模型

    Published
    Attacker
    Black-box
    Evaluated models
    GPT-Image-2, Doubao-Seedream-5.0-Lite, Wan2.7-Image-Pro and others5

    Abstract系统揭示 T2I 跨模态空间合成安全漏洞,证实离散无害元素可在图像层面重构有害意图并放大传播强度。

    Paper analysisRead analysis
  7. AttacksarXiv 2609.35912

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    Published
    Evaluated models
    GPT-5.6-sol, Kimi-K2.6, Kimi-K3 and others6

    Abstract论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    Paper analysisRead analysis
  8. AttacksarXiv 2609.18217

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击,利用 MCP 隐式信任外发敏感文件

    Published
    Evaluated models
    GPT-4o, GPT-4o-mini, GPT-5.4 and others15

    Abstract论文揭示了 MCP 多通道隐式信任层级,通过跨通道分段与协议级利用突破现有防御,展示了严重的凭证外发风险。

    Paper analysisRead analysis
  9. AttacksarXiv 2609.09553

    研究:任意密文攻击前沿大模型无需微调即可越狱

    提出任意字母置换密码越狱,无需微调即可诱导有害输出

    Published
    Attacker
    Black-box
    Evaluated models
    Claude Sonnet 4, Claude Sonnet 4.5, Gemini 3 Flash (preview) and others7

    Abstract前沿大模型无需微调即可通过提示词学会字母置换密码,进而绕过分类器与对齐,作者呼吁关注能力提升带来的安全风险。

    Paper analysisRead analysis
  10. AttacksarXiv 2609.07216

    DIVA:利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA,将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    Published
    Attacker
    Black-box
    Evaluated models
    Wan, CogVideoX, LTX-Video and others9
    AbstractDIVA 用视觉锚点抑制语义漂移做视频越狱,并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱:用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    Paper analysisRead analysis
  11. AttacksarXiv 2608.17485

    KeyPooling:测量 LLM API 中继路径在何处瓦解提示缓存隔离

    提出 KeyPooling,测量 API 中继何处瓦解提示缓存隔离

    Published
    Evaluated models
    grok-4-fast-non-reasoning, grok-4-1-fast-non-reasoning, grok-3 and others11
    Abstract共享上游凭证使中继客户进入同一缓存域,保留身份或独立 principal 可分开。

    KeyPooling测量 LLM API 中继在何处丢掉客户身份,使 prompt cache 不再按下游客户隔离。

    Paper analysisRead analysis
  12. AttacksarXiv 2608.06862

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN,诱导计算机使用 Agent 自建跨任务持久攻击链

    Published
    Evaluated models
    Qwen3.5-9B, Llama-3.1-8B, Ministral-3-8B

    Abstract论文揭示了 CUA 自合成工件带来的内部供应链威胁,验证了潜伏载荷的跨任务传播能力与防御局限。

    Paper analysisRead analysis
  13. AttacksarXiv 2607.14493

    LogInject 框架披露 LLM 日志分析中的被动提示注入

    提出 LogInject 框架,评测日志分析中的被动提示注入及缓解

    Published
    Evaluated models
    GPT-4o, Claude 3.5 Sonnet, Llama-3-70B-Instruct

    Abstract论文评估了 LLM 日志分析中的上下文污染风险,提出分片拼接等攻击与三层防御,指出必须结合架构隔离与人工介入。

    Paper analysisRead analysis
  14. AttacksarXiv 2606.21732

    研究者提出 relinking 漏洞:LLM Agent 压缩边界可被拼出恶意指令

    提出 Relink 攻击,在 Agent 压缩边界将分散良性片段重组为恶意指令

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma-4-31B-it, GPT-OSS-20B, Qwen3.6-27B and others15
    Abstract论文指出提示词压缩引入重链漏洞,提出 RELINK 攻击工具与 KBRA 边界审计防御,证明压缩边界应作为关键安全边界。

    本文研究了智能体基于摘要的提示词压缩所引入的新型安全漏洞——重链(Relinking),并提出了系统化的攻击构建方法与边界审计防御机制。

    Paper analysisRead analysis
  15. AttacksarXiv 2606.21077

    OTTER:仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱,绕过表面毒性审核诱导有害回答

    Published
    Attacker
    Black-box
    Evaluated models
    gpt-4-turbo, gpt-4o, gpt-4o-mini and others4

    Abstract论文展示了表面毒性与恶意意图的解耦现象,通过标准 API 实现黑盒越狱测试,并提出闭环分类器加固建议。

    Paper analysisRead analysis