跳到正文
10月10日 · 周六

全部论文

找到 19 篇
筛选7

攻击类型

越狱3提示注入3

模型自身风险

欺骗与谋划4

防御类型

检测与过滤5监控与审计6

影响

有害内容5输出被操纵5监督失效5

系统形态

模型与 API14AI Agent25coding agent9网页与电脑操作3多智能体2

攻击面/入口

用户输入4图像与音视频3

层

提示层4模型层8应用层5

系统组件

记忆4护栏与评审25监控器9推理链5微调与开源权重5视觉16音频8视频5图像生成7嵌入0多模态30
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 196 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作系统形态：多智能体系统组件：监控器系统组件：音频系统组件：视频系统组件：嵌入清除全部

另有 196 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    C2P-CLIP、ForgeLens、D3-Im 等 10 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  3. 评测与基准arXiv 2610.06339

    BabelFake：面向多语言音视频 DeepFake 检测的基准数据集

    构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器

    arXiv
    2610.06339
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    SpeechForensics、AVH-Align、(B)RAVEn
    摘要BabelFake 为五语同意采集基准。

    BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准，用来把视觉操纵和语音合成拆开比较。

    深度解读完整解读
  4. 评测与基准arXiv 2610.04737

    PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准，训练捷径跟随模型并比较监督者

    arXiv
    2610.04737
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    shortcut-following model organism、gpt-4o、gpt-5 等 12 个
    摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。

    深度解读完整解读
  6. 评测与基准arXiv 2610.02741

    研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    arXiv
    2610.02741
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 4 个
    摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

    深度解读完整解读
  11. 评测与基准arXiv 2609.22724

    MATE：面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略

    arXiv
    2609.22724
    发表
    层
    应用层
    场景
    网页与电脑操作
    攻击者
    黑盒
    被测模型
    MATE-0.5B、MATE-1.5B、MATE-3B
    摘要MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    深度解读完整解读
  12. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
  13. 评测与基准arXiv 2609.05797

    论文发现安全监控器主要拦截模型本就会拒答的请求

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    arXiv
    2609.05797
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个

    摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。

    深度解读完整解读
  14. 评测与基准arXiv 2608.18607

    VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模

    提出 VA-Judger，用人类偏好训练联合音视频奖励模型

    arXiv
    2608.18607
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    VA-Judger、LTX-2 + VA-Judger
    摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。

    VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。

    深度解读完整解读
  15. 评测与基准arXiv 2606.06037

    SpeechJBB：语码转换语音下大型音频语言模型的越狱基准

    提出 SpeechJBB，评测语码转换语音下音频语言模型的越狱稳健性

    arXiv
    2606.06037
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B-Instruct、Voxtral-Small-24B 等 9 个
    摘要SpeechJBB 用五语语码转换语音和伪词探针评测九个 LALM，作者将越狱归为对齐失败而非听不懂。

    SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐，并另设口语理解对照。

    深度解读完整解读
  16. 评测与基准arXiv 2605.18984

    Artifact-Bench：评估 MLLM 检测与诊断 AI 生成视频伪影

    提出 Artifact-Bench，评测 MLLM 检测并诊断 AI 生成视频伪影

    arXiv
    2605.18984
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Gemini 3.1 Pro、Gemini 3 Flash、Qwen3-VL 8B-Instruct 等 19 个
    摘要Artifact-Bench 以三项任务评 MLLM 的 AIGC 伪影感知。

    Artifact-Bench 用来看 MLLM 能否发现 AI 生成视频中的伪影，并说明视频为何不真实。

    深度解读完整解读
  17. 评测与基准arXiv 2602.08877

    自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

    提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

    arXiv
    2602.08877
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Gemma 2 9B Instruct、Llama 3.3 70B Instruct

    摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。

    深度解读完整解读
  18. 评测与基准arXiv 2505.23559

    SafeScientist：让 LLM 智能体的科学发现具备风险意识

    提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务

    arXiv
    2505.23559
    发表
    层
    应用层
    场景
    science agent、多智能体
    被测模型
    GPT-4o、GPT-4.1、GPT-3.5-turbo 等 5 个
    摘要四层监控加科研安全基准。

    SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。

    深度解读完整解读
已经到底了