Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 30 papers
Filter2

Attack type

Prompt injection10Poisoning and backdoors15Model tampering7Extraction and theft5

Defense type

Model hardening9Detection and filtering5Instruction–data separation4Permissions and approval7Monitoring and auditing4

Impact

Harmful content4Unauthorized actions7Data and privacy leaks7Output manipulation8

System type

Models and APIs19AI Agent11Multi-agent systems3

Attacker access

White-box7

Attack surface / entry point

User input118Web pages and interfaces37Documents and messages38Tool responses60Tool and skill descriptions23Code repositories and dependencies7Retrieval corpus10Memory writes11Inter-agent messages12Images, audio and video30Training data33Weights and gradients19Distribution channels18Inference services and hardware10

Layer

Model layer6Application layer11Training and data layer13

System component

Memory9Permissions and sandboxing5Fine-tuning and open weights11Multimodal4
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 265papers have no tags yet and are not included in filtered results.
Attack surface / entry point：Memory writesAttack surface / entry point：Weights and gradientsClear all

Another 265papers do not have category tags yet and are not included in filtered results.

  1. DefensesarXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    LLaVA-1.5-7B, Qwen3-VL-8B, LLaVA-1.5-13B and others5
    Abstract一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击

    arXiv
    2610.07657
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.39866

    研究者提出梯度封堵实现 LLM 发布前的预防性遗忘

    提出 GSU 在发布前封堵敏感门梯度，抵抗下游微调获取禁止能力

    arXiv
    2609.39866
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    Llama-3.2-1B, Llama-3.2-3B, Llama-3.1-8B and others7
    AbstractGSU 在发布前封堵 SiLU 门的获取梯度，并在 TOFU 与 WMDP 上降低下游微调得分。

    Gradient-Sealed Unlearning（GSU）是一种发布前的 preemptive unlearning：不删除模型里已经有的能力，而是让指定禁止域能力更难被发布后的微调获取。

    Paper analysisRead analysis
  8. DefensesarXiv 2609.39548

    NDDL：用正常扩散动力学为文生图模型做后门防御

    提出 NDDL，用良性扩散轨迹检测文生图后门提示并定位触发 token

    arXiv
    2609.39548
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Stable Diffusion v1.5, Stable Diffusion XL, Stable Diffusion v3.5 and others4
    AbstractNDDL 从良性扩散轨迹学习正常转移，用动态不一致检测后门并定位触发 token。

    NDDL 是面向文生图扩散模型的后门防御：防御者只有白盒模型访问和良性提示词，没有后门先验，需要区分后门提示词并找出触发 token。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流

    arXiv
    2610.00371
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Sonnet 4.5, Haiku 4.5, Qwen3-32B and others5
    Abstract配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    Paper analysisRead analysis
  10. DefensesarXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    DeepSeek-R1-Distill-Qwen-32B, QwQ-32B

    Abstract论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    Paper analysisRead analysis
  11. DefensesarXiv 2610.00320

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    arXiv
    2610.00320
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.1-Tulu-3-8B-DPO, OLMo-2-1124-7B-Instruct and others10
    Abstract定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。

    这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。

    Paper analysisRead analysis
  12. DefensesarXiv 2609.27124

    Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习

    提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复

    arXiv
    2609.27124
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    Gray-box
    Evaluated models
    CNN（MNIST：2 Conv + 3 FC）, CNN（Fashion-MNIST：6 Conv + 1 FC）, ResNet18（CIFAR-10）
    AbstractFed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。

    Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。

    Paper analysisRead analysis
  13. DefensesarXiv 2609.23586

    VidMark：面向视频生成模型知识产权保护的高效水印方案

    提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权

    arXiv
    2609.23586
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Stable Video Diffusion (SVD), Open-Sora, Wan
    AbstractVidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。

    Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.20532

    面向旧款 GPU 的可验证差分隐私训练框架：用 CPU 侧 TEE 校验 GPU 梯度

    AI summary论文提出一种在旧款 GPU 上实现可验证差分隐私（DP）训练的框架，用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。

    arXiv
    2609.20532
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    5-layer MLP, WideResNet, GPT-2-medium and others4
    AbstractCPU TEE 概率抽查不可信 GPU 上的 DP-SGD，以小开销约束频繁偏离。

    TEE-Certified DP 用已部署的 CPU TEE 监视不可信旧 GPU 上的 DP-SGD，使监管方能在不看训练数据的情况下检查声明的隐私机制是否被执行。

    Paper analysisRead analysis
  15. DefensesarXiv 2609.17648

    多智能体 LLM 流水线中的信任传播与结构隔离

    用任务绑定令牌和策略预言机拦住多智能体流水线的未授权执行

    arXiv
    2609.17648
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    gemma4:31b-cloud
    Abstract结构性授权拦住了记忆投毒的未授权执行，持密钥时承重的是策略预言机。

    作者在一条会改写沙箱邮件库的四智能体流水线上，检查低权限失陷会不会变成未授权的真实动作。

    Paper analysisRead analysis
  18. DefensesarXiv 2609.15671

    QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

    提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露

    arXiv
    2609.15671
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    LLaVA-1.5-7B, Llama-2
    AbstractQPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。

    QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

    Paper analysisRead analysis
  19. DefensesarXiv 2609.10117

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    提出 Collapse，从端侧混淆暴露视图抽取高效用替代模型

    arXiv
    2609.10117
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    BERT-Base, ViT-Base, Qwen2.5-0.5B and others4
    AbstractOprior 是四原语复合的安全边界，Collapse 利用列方向泄漏抽取替代模型，Oext 只被同一攻击评测。

    这篇工作用代数原语统一若干 TEE 卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。。

    Paper analysisRead analysis
Load more