Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 72 papers
Filter5

Attack type

Jailbreaks8Prompt injection19Poisoning and backdoors18Model tampering20Extraction and theft10Detection evasion5

Attack technique

Gradient and representation optimization12Encoding and obfuscation3Defense-targeted3Dormant triggers7

Defense type

Model hardening5Inference-time intervention4Detection and filtering3Instruction–data separation4Permissions and approval4Monitoring and auditing4

Impact

Harmful content20Unauthorized actions9Data and privacy leaks13Output manipulation21Oversight failure7

System type

Models and APIs38AI Agent34coding agent5Multi-agent systems27

Attacker access

White-box14

Attack surface / entry point

User input196Web pages and interfaces74Documents and messages91Tool responses109Tool and skill descriptions63Code repositories and dependencies29Retrieval corpus38Memory writes44Inter-agent messages28Images, audio and video39Training data12Weights and gradients35Distribution channels50Inference services and hardware8

Layer

Prompt layer6Model layer38Application layer34Training and data layer75

System component

MCP and skills7Memory4Guardrails and judges3Monitors3Permissions and sandboxing8Fine-tuning and open weights13Image generation3Multimodal3
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 203papers have no tags yet and are not included in filtered results.
Attack surface / entry point：Inter-agent messagesAttack surface / entry point：Training dataAttack surface / entry point：Weights and gradientsLayer：Model layerLayer：Application layerClear all

Another 203papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.13928

    AI models can provably hide arbitrary capabilities

    Proposes digital lock compilation, encrypting executable networks into host weights to hide arbitrary capabilities

    arXiv
    2610.13928
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Gemma 3 270M
    AbstractThe authors use a digital lock to hide an executable capability and state that elicitation on the chemistry and parity tasks did not recover the capability.

    The authors construct a class of backdoors that encrypt an executable network into the weights, used to discuss the limits of white-box elicitation audits under supply chain attacks.

    Paper analysisRead analysis
  3. AttacksarXiv 2610.07510

    PersistBD: attackers can strengthen backdoors before release so that they maintain high attack success rates even after developer SFT and RL.

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Qwen2.5-Coder-3B-Instruct, Qwen2.5-Coder-7B-Instruct, Qwen3-Coder-30B-A3B-Instruct
    Abstract总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    Paper analysisRead analysis
  4. AttacksarXiv 2610.07125

    PEV 攻击利用嵌入向量加噪越狱六款开源权重模型

    提出 PEV 攻击，在输入嵌入上加高斯噪声越狱开源模型

    arXiv
    2610.07125
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B-Instruct, Qwen2.5-1.5B-Instruct, Phi-4-mini-3.8B and others6
    AbstractPEV 用 embedding 高斯噪声，在六个模型上越狱 JailbreakBench 全部提示。

    PEV 是对 open-weight LLM 的 embedding 噪声越狱。

    Paper analysisRead analysis
  5. AttacksarXiv 2610.06049

    研究者提出仅修改 SAE 解码器的后门攻击，可在不改动语言模型的情况下植入行为

    提出只改 SAE 解码器的后门，在冻结语言模型上植入代码插入

    arXiv
    2610.06049
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Gemma 3 4B Instruct, Qwen3 1.7B, Llama 3.1 8B Instruct
    Abstract只改解码器的 SAE 可带上代码插入后门，且若干常规质量指标变化不大。

    只改 SAE 解码器、冻结编码器与语言模型，即可把代码插入行为放进推理时的辅助组件。作者把这视为 SAE 供应链问题：checkpoint 一旦替换某一层激活，就参与后续计算，而不只是解释工具。

    Paper analysisRead analysis
  6. AttacksarXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    Gray-box
    Evaluated models
    LLaDA-8B-Instruct, Dream-v0-Instruct-7B, LLaDA-MoE-7B-A1B-Instruct

    Abstract通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    Paper analysisRead analysis
  7. DefensesarXiv 2610.05640

    Research reveals that the CaMeL defense fails in multi-agent systems and proposes multi-CaMeL

    提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据

    arXiv
    2610.05640
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Claude Fable 5, GPT-5.5, GPT-4.1 and others6

    Abstract论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    Paper analysisRead analysis
  8. AttacksarXiv 2610.05601

    Tracer 框架可从遗忘后的扩散模型中识别被擦除概念

    提出 TRACER，从权重差识别扩散模型被擦除概念

    arXiv
    2610.05601
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    Stable Diffusion v1.5, Stable Diffusion 3, FLUX.1 and others5
    AbstractTRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。

    TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.04426

    UnAct：无需梯度的定向激活干预实现类别遗忘

    提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别

    arXiv
    2610.04426
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    ResNet-18, ViT-B/16
    AbstractUnAct 用前向激活做类别遗忘。

    UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。

    Paper analysisRead analysis
  10. DefensesarXiv 2610.02349

    MIRROR：面向多智能体通信的法定人数完整性防御

    提出 MIRROR，用多路径摘要多数表决保障多智能体通信完整性

    arXiv
    2610.02349
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Gemma-4-31B-it, Gemini 2.5 Pro
    AbstractMIRROR 靠多数路径。

    MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语，只处理不透明字节，不解释消息内容。要处理的是 Agent-in-the-Middle：中介合法终结 TLS 后可改在途消息，而语义校验有推理开销和误拦，签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。

    Paper analysisRead analysis
  11. DefensesarXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，按辩证动作可靠性加权聚合多 LLM 议会以抵抗持续对抗

    arXiv
    2610.02005
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    AbstractBDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    Paper analysisRead analysis
  12. AttacksarXiv 2610.03124

    研究提出 Untag 攻击框架，使开源大模型触发标签滥用检测机制失效

    提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测

    arXiv
    2610.03124
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    Black-box, White-box
    Evaluated models
    Llama2 (7B), Llama3 (8B), Qwen2.5 (7B)
    Abstract作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。

    UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2610.03153

    EvoRiskBench: An evolutionary benchmark for runtime security risks of workspace agents

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    arXiv
    2610.03153
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5

    Abstract论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    Paper analysisRead analysis
  14. AttacksarXiv 2610.01062

    Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架

    提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱

    arXiv
    2610.01062
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2.5-7B-Instruct, Gemma-2-9B-IT, Llama-3.1-8B-Instruct and others4
    AbstractKAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。

    Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。

    Paper analysisRead analysis
  15. AttacksarXiv 2610.00430

    Memetic Trojans：利用社交传染在 LLM Agent 网络中传播对抗载荷

    提出 memetic trojans，借助社交传染在 Agent 网络中传播对抗载荷

    arXiv
    2610.00430
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    gpt-oss-120B, deepseek-v4.1-flash, qwen-32B and others5
    Abstractmemetic trojans 用内生社会传染携带载荷。

    Memetic trojans 是一类网络介导攻击：对抗载荷搭在智能体本来就会转发和点赞的内容上扩散，转发者不必被攻陷，也不必执行“请继续复制”的指令。

    Paper analysisRead analysis
  16. AttacksarXiv 2609.39788

    研究：多智能体系统潜在通信链路可被训练用于提升有害顺从

    提出只训练或篡改多智能体潜在通信链路来提高有害遵从

    arXiv
    2609.39788
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct, Gemma-3-1B-IT and others7
    Abstract潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。

    学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。

    Paper analysisRead analysis
  17. DefensesarXiv 2609.39548

    NDDL: Backdoor Defense for Text-to-Image Models with Normal Diffusion Dynamics

    提出 NDDL，用良性扩散轨迹检测文生图后门提示并定位触发 token

    arXiv
    2609.39548
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Stable Diffusion v1.5, Stable Diffusion XL, Stable Diffusion v3.5 and others4
    AbstractNDDL 从良性扩散轨迹学习正常转移，用动态不一致检测后门并定位触发 token。

    NDDL 是面向文生图扩散模型的后门防御：防御者只有白盒模型访问和良性提示词，没有后门先验，需要区分后门提示词并找出触发 token。

    Paper analysisRead analysis
  18. AttacksarXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA，经 A2A 对等任务间接注入并植入常驻回调

    arXiv
    2610.00392
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    MiniMax-M3, deepseek-v4-pro, glm-5.3 and others8
    AbstractA2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    Paper analysisRead analysis
  19. DefensesarXiv 2609.39297

    MiniRep：面向多智能体辩论的鲁棒声誉聚合方法

    提出 MiniRep，在多智能体辩论聚合中结合当前质量、风险与历史声誉并限制克隆组

    arXiv
    2609.39297
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    AbstractMiniRep 用当前提案证据校准历史声誉并限制克隆组，MATH 上平均准确率高于基线，其他任务有反例。

    MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。

    Paper analysisRead analysis
  20. DefensesarXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流

    arXiv
    2610.00371
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Sonnet 4.5, Haiku 4.5, Qwen3-32B and others5
    Abstract配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    Paper analysisRead analysis
Load more