Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 26 papers
Filter3

Attack type

Jailbreaks8Poisoning and backdoors3Model tampering20

Attack technique

Gradient and representation optimization9

Defense type

Model hardening4

Impact

Harmful content26Unauthorized actions19Data and privacy leaks16Output manipulation21Availability and reliability4Oversight failure10

System type

Models and APIs24

Attacker access

Black-box3White-box13

Attack surface / entry point

User input216Tool responses7Code repositories and dependencies1Images, audio and video48Training data20Weights and gradients25Distribution channels3

Layer

Model layer15Training and data layer8

System component

Fine-tuning and open weights10
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 255papers have no tags yet and are not included in filtered results.
Impact：Harmful contentAttack surface / entry point：Code repositories and dependenciesAttack surface / entry point：Weights and gradientsClear all

Another 255papers do not have category tags yet and are not included in filtered results.

  2. AttacksarXiv 2610.07654

    研究揭示策略蒸馏的安全后门风险

    测量带后门教师经 OPD 向干净学生迁移潜伏后门

    arXiv
    2610.07654
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct
    Abstract作者称 OPD 可在压低无触发词有害率时迁入后门。

    带后门的外部教师经 OPD，可在压低无触发词有害率的同时，把触发条件下的有害行为传给初始干净学生。。

    Paper analysisRead analysis
  3. InterpretabilityarXiv 2610.07518

    TRACE：仅凭 checkpoint 更新审计大语言模型有害目标

    提出 TRACE，仅凭检查点更新审计有害合规微调目标

    arXiv
    2610.07518
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, Qwen3-8B and others6
    Abstract作者称有害合规 SFT 在检查点更新中留下可排序坐标，并据此做只读权重审计。

    作者在检查点更新里寻找有害合规 SFT 的目标组成，并把读数做成不查询模型、不看未知训练数据的审计分 TRACE。

    Paper analysisRead analysis
  4. AttacksarXiv 2610.07125

    PEV 攻击利用嵌入向量加噪越狱六款开源权重模型

    提出 PEV 攻击，在输入嵌入上加高斯噪声越狱开源模型

    arXiv
    2610.07125
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B-Instruct, Qwen2.5-1.5B-Instruct, Phi-4-mini-3.8B and others6
    AbstractPEV 用 embedding 高斯噪声，在六个模型上越狱 JailbreakBench 全部提示。

    PEV 是对 open-weight LLM 的 embedding 噪声越狱。

    Paper analysisRead analysis
  5. AttacksarXiv 2610.01062

    Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架

    提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱

    arXiv
    2610.01062
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2.5-7B-Instruct, Gemma-2-9B-IT, Llama-3.1-8B-Instruct and others4
    AbstractKAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。

    Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。

    Paper analysisRead analysis
  6. AttacksarXiv 2609.39788

    研究：多智能体系统潜在通信链路可被训练用于提升有害顺从

    提出只训练或篡改多智能体潜在通信链路来提高有害遵从

    arXiv
    2609.39788
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct, Gemma-3-1B-IT and others7
    Abstract潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。

    学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。

    Paper analysisRead analysis
  7. DefensesarXiv 2610.00320

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    arXiv
    2610.00320
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.1-Tulu-3-8B-DPO, OLMo-2-1124-7B-Instruct and others10
    Abstract定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。

    这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.02293

    SEAL：通过共享专家对齐强化 MoE 全局安全

    提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    arXiv
    2609.02293
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    White-box, Black-box
    Evaluated models
    Qwen1.5-MoE-A2.7B, DeepSeekMoE-16B, GLM-4.7-Flash and others4
    AbstractSEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

    Paper analysisRead analysis
  10. AttacksarXiv 2608.07430

    研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

    提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

    arXiv
    2608.07430
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box, White-box
    Evaluated models
    Qwen2.5-7B-Instruct, LLaDA-8B-Instruct, Dream-Instruct-7B and others15
    Abstract论文揭示了扩散语言模型对自回归安全神经元的继承性，并提出纯离线黑盒越狱框架 SN-Guided Diffusion。

    论文系统评估了扩散大语言模型（DLLM）在安全对齐中的双重角色——既作为白盒攻击目标，又作为黑盒越狱生成的对抗工具。

    Paper analysisRead analysis
  11. DefensesarXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Llama-3.2-1B-Instruct and others14
    AbstractAMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    Paper analysisRead analysis
  12. DefensesarXiv 2608.05045

    Gradient Immunity 提出 USG：在开放权重发布时阻断恶意微调梯度

    提出 USG，在部分保护开源权重发布时阻断有害微调梯度

    arXiv
    2608.05045
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    Qwen3-14B（表中作 Qwen-14B）, Llama-3.1-8B（表中作 Llama-8B）
    AbstractUSG 在 PPOW 下用零空间立方层阻断有害微调梯度。

    Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护：大部分权重仍可训练，一小部分安全关键组件由提供者侧加固保留，下游不必配合额外安全流程。。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2605.14605

    Study: malicious fine-tuning defenses fail under continued training, harmfulness rises across all 72 defense trajectories

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    Llama-2-7B-chat, Qwen3-8B, Llama-3.1-8B-Instruct and others8

    Abstract论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    Paper analysisRead analysis
  14. AttacksarXiv 2605.08513

    Apple 研究者发现抑制单个神经元即可绕过 LLM 安全对齐

    提出单神经元激活干预，抑制拒答神经元或放大概念神经元以绕过安全对齐

    arXiv
    2605.08513
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    White-box
    Evaluated models
    Qwen3-1.7B, Qwen3-4B, Qwen3-8B and others11

    Abstract作者称大模型安全由拒答门控与概念底座构成，干预单个神经元足以双向击穿对齐，且拒答神经元在预训练阶段已然存在。

    Paper analysisRead analysis
  17. AttacksarXiv 2604.00627

    When Safe Models Become Dangerous: Exploiting Potential Vulnerabilities in LLM Merging

    提出 TrojanMerge，在源模型植入仅在合并后生效的潜伏分量

    arXiv
    2604.00627
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    Llama 2 M1 (safety-aligned chat variant), Tulu-2-7b, Llama 3 M1 (safety-aligned chat variant) and others9
    Paper analysisRead analysis
Load more