跳到正文
10月12日 · 周一

全部论文

找到 10篇
筛选3

攻击类型

越狱10提示注入17投毒与后门4恶意使用4

防御类型

监控与审计10

影响

有害内容7

系统形态

模型与 API6AI Agent4

攻击面/入口

用户输入10

层

模型层6应用层4

系统组件

监控器10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 232篇还没打标签，不在筛选结果里。
攻击类型：越狱防御类型：监控与审计系统组件：监控器清除全部

另有232篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源

    arXiv
    2610.09167
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama2-7B-chat、Qwen2.5-7B-Instruct、Gemma-2-9B-it 等4个
    摘要Persist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    深度解读完整解读
  2. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视

    arXiv
    2610.07089
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等12个

    摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  3. 防御arXiv 2610.02413

    研究：分类后缀可提升激活探针的分布外恶意输入检测

    用分类后缀提升激活探针对分布外恶意输入的检测

    arXiv
    2610.02413
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B
    摘要作者称排序增益来自分类格式，低 FPR 精度来自点名准则。

    用户轮后的分类后缀，被作者用作激活探针的分布外检测干预：排序看格式，低 FPR 精度看是否点名恶意/良性。

    深度解读完整解读
  5. 防御arXiv 2609.30841

    为何扩散语言模型的越狱会成功：能量景观分析

    用能量势垒信号检测扩散语言模型的越狱

    arXiv
    2609.30841
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-Instruct-7B 等4个
    摘要能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒，三个 logit 信号据此互补检测。

    Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱，并由此得到三个免训练检测信号。。

    深度解读完整解读
  10. 防御arXiv 2505.23559

    SafeScientist：让 LLM 智能体的科学发现具备风险意识

    提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务

    arXiv
    2505.23559
    发表
    层
    应用层
    场景
    science agent、多智能体
    被测模型
    GPT-4o、GPT-4.1、GPT-3.5-turbo 等5个
    摘要四层监控加科研安全基准。

    SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。

    深度解读完整解读
已经到底了