Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 26 papers

Another 213papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.07125

    PEV 攻击利用嵌入向量加噪越狱六款开源权重模型

    提出 PEV 攻击,在输入嵌入上加高斯噪声越狱开源模型

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Qwen2.5-1.5B-Instruct, Phi-4-mini-3.8B and others6
    AbstractPEV 用 embedding 高斯噪声,在六个模型上越狱 JailbreakBench 全部提示。

    PEV 是对 open-weight LLM 的 embedding 噪声越狱。

    Paper analysisRead analysis
  2. 研究者提出统一滥用监控基准,覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标,统一评测分解攻击和提示注入下的智能体滥用监视

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架,动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  3. Jev 被用于零样本检测十类对齐失败,中位 AUROC 达 0.886

    提出 RLCDAlignBench,零样本检测多种对齐失败

    Published
    Evaluated models
    Jev (jev-1.13.0)
    Abstract一次通用问题已能给多数对齐失败排序,大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev,能否当作对齐失败的零样本检测器。

    Paper analysisRead analysis
  4. CART:面向大语言模型的闭环自适应红队框架

    提出闭环自适应红队框架 CART,评测模型与 Agent 的安全失败

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.8, GPT-5.5, Grok 4.3 and others7
    AbstractCART 把红队做成可审计的闭环搜索,在三类评测上比静态回放发现更多失败与更高平均风险。

    CART 把自动红队从一次清单式打分,改成带预算、可追溯的闭环搜索。

    Paper analysisRead analysis
  5. OtherarXiv 2609.12413

    SoK 综述:智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线,并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis
  6. DefensesarXiv 2609.02786

    SafeEvolve:基于智能体经验的 Harness-Policy 协同演化安全对齐框架

    提出 SafeEvolve,用轨迹证据协同演化安全 harness 与策略

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Qwen3-4B-Instruct-2507, Qwen3.5-1.7B and others4
    AbstractSafeEvolve 用轨迹证据协同更新安全 harness 和策略,在两个 4B 模型的智能体安全基准上改变安全与效用。

    SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新,并用两阶段 SFT-RL 把这些更新内化进工具使用策略。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.02293

    SEAL:通过共享专家对齐强化 MoE 全局安全

    提出 SEAL,在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    Published
    Evaluated models
    Qwen1.5-MoE-A2.7B, DeepSeekMoE-16B, GLM-4.7-Flash and others4
    AbstractSEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上,SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御:只对齐始终执行的共享专家,使安全不依赖路由器是否把 token 送到安全专家。

    Paper analysisRead analysis
  8. AttacksarXiv 2608.07430

    研究者提出 SN-Guided Diffusion,利用扩散大模型安全神经元实现离线越狱

    提出 SN-Guided Diffusion,利用安全神经元实现离线越狱

    Published
    Evaluated models
    Qwen2.5-7B-Instruct, LLaDA-8B-Instruct, Dream-Instruct-7B and others15
    Abstract论文揭示了扩散语言模型对自回归安全神经元的继承性,并提出纯离线黑盒越狱框架 SN-Guided Diffusion。

    论文系统评估了扩散大语言模型(DLLM)在安全对齐中的双重角色——既作为白盒攻击目标,又作为黑盒越狱生成的对抗工具。

    Paper analysisRead analysis
  9. AttacksarXiv 2607.11698

    AHA 用自动研究循环发现生产 Agent 漏洞概念

    提出 AHA 自动科研循环,发现生产 Agent 的可复用漏洞概念

    Published
    Attacker
    Black-box
    Evaluated models
    Minimax-M2.7, Kimi-K2.6, Deepseek-V4-Pro and others5
    Abstract论文提出基于可证伪科研循环的 AHA 框架,从生产级智能体中挖掘并沉淀漏洞概念图,提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究,旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    Paper analysisRead analysis
  10. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    Paper analysisRead analysis
  11. AttacksarXiv 2603.12277

    Prompt injection is role confusion

    提出 CoT Forgery,经用户消息或工具输出注入伪造推理

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    gpt-oss-20b, gpt-oss-120b, o4-mini and others11
    Abstract提示注入被作者解释为角色感知失败:听起来像某角色,就在表示里成为该角色。

    作者把提示注入解释成角色感知失败:标签划出的权限没有进入模型的内部几何。

    Paper analysisRead analysis
  12. When benchmarks lie: evaluating malicious prompt classifiers under real-world distribution shift

    提出 LODO 评测恶意提示探针的跨数据集泛化

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Gemma-3-27B, Qwen-3.5-4B and others5
    Abstract作者称 LODO 露出 CV 高估,数据集身份与安全方向部分重叠,标准域泛化干预关不上。

    LODO 用来检查恶意提示词分类器换成没见过的数据集后,还剩多少检测能力。。

    Paper analysisRead analysis