Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 22 papers
Filter5

Attack type

Jailbreaks4Prompt injection4

Model risks

Deception and scheming7

Defense type

Detection and filtering4Monitoring and auditing10

Impact

Harmful content5Output manipulation3Oversight failure8

System type

Models and APIs12AI Agent24coding agent10Browser and computer use3

Attacker access

Black-box3

Attack surface / entry point

User input6Documents and messages3Images, audio and video3

Layer

Prompt layer5Model layer9Application layer8

System component

MCP and skills6Memory5Guardrails and judges32Monitors15Reasoning chains8Permissions and sandboxing3Fine-tuning and open weights4Vision20Audio8Video7Image generation7Embeddings0Multimodal36
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 213papers have no tags yet and are not included in filtered results.
System type：Models and APIsSystem type：coding agentSystem component：MonitorsSystem component：Image generationSystem component：EmbeddingsClear all

Another 213papers do not have category tags yet and are not included in filtered results.

  1. Evaluation and benchmarksarXiv 2610.11112

    EpiReal-Bench：商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据

    arXiv
    2610.11112
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    GPT-Image-2, Nano Banana 2, Grok Imagen 2.0 and others4
    Abstract四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    Paper analysisRead analysis
  3. Evaluation and benchmarksarXiv 2610.07939

    CCDF dataset: Grok Imagine, Veo 3.1, Sora 2 forge surveillance footage, ten deepfake detectors basically cannot recognize it

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    C2P-CLIP, ForgeLens, D3-Im and others10

    Abstract提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    Paper analysisRead analysis
  5. Evaluation and benchmarksarXiv 2610.06406

    AgentMonBench：面向长时程智能体行为监控的软件工程基准

    提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG

    arXiv
    2610.06406
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.6 Luna, GPT-5.6 Terra, GPT-5.6 Sol and others8
    AbstractAgentMonBench 评测后果性决策监控，EBG 组织证据。

    长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。

    Paper analysisRead analysis
  7. Evaluation and benchmarksarXiv 2610.04737

    PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准，训练捷径跟随模型并比较监督者

    arXiv
    2610.04737
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    shortcut-following model organism, gpt-4o, gpt-5 and others12
    AbstractPyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。

    Paper analysisRead analysis
  8. Evaluation and benchmarksarXiv 2610.02741

    研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    arXiv
    2610.02741
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Ouro-1.4B-Thinking, Ouro-2.6B-Thinking, Nanbeige4.2-3B and others4
    Abstract加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

    Paper analysisRead analysis
  9. Evaluation and benchmarksarXiv 2609.39533

    CATCH：面向编码 RL 奖励作弊的可控分析测试台

    构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

    arXiv
    2609.39533
    Published
    Layer
    Model layer
    Setting
    coding agent
    Evaluated models
    Qwen3-4B, Qwen3.5-27B
    AbstractCATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

    Paper analysisRead analysis
  10. Evaluation and benchmarksarXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

    arXiv
    2609.28915
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    AdaBoost, XGBoost, TabPFN and others10
    AbstractACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    Paper analysisRead analysis
  11. Evaluation and benchmarksarXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    Wan, CogVideoX, LTX-Video and others9
    AbstractDIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    Paper analysisRead analysis
  12. Evaluation and benchmarksarXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    LTX-2.3, Ovi-1.1, JavisDiT++ and others7
    AbstractAV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2609.05797

    Paper finds safety monitors mainly block requests the model would already refuse

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    arXiv
    2609.05797
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Gemma-4-31B-IT, Qwen3-32B, Llama Guard 3 8B and others6

    Abstract论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。

    Paper analysisRead analysis
  14. Evaluation and benchmarksarXiv 2606.22673

    Agent MechSuits：面向多轮 CLI Agent 的机制子空间安全引导

    提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向

    arXiv
    2606.22673
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    LLaMA-3.1-8B, Qwen-2.5-7B, Gemma-2-9B
    Abstract白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。

    Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。

    Paper analysisRead analysis
  17. Evaluation and benchmarksarXiv 2605.17380

    Uber proposes ADR enterprise-level agent detection system, deployed on 7,200 hosts for ten months

    提出企业级检测系统 ADR，识别编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    Published
    Layer
    Application layer
    Setting
    coding agent

    Abstract提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    Paper analysisRead analysis
  18. Evaluation and benchmarksarXiv 2605.16626

    Sleight-Bench: 20 of 40 attacks were never detected by Opus 4.6 monitoring.

    构建 SLEIGHT-Bench 评测代码智能体监控对概念盲点规避的捕获

    arXiv
    2605.16626
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Claude Opus 4.6, Claude Opus 4.7, Claude Sonnet 4.6 and others6

    Abstract评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2602.14161

    When benchmarks lie: evaluating malicious prompt classifiers under real-world distribution shift

    提出 LODO 评测恶意提示探针的跨数据集泛化

    arXiv
    2602.14161
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3.1-8B-Instruct, Gemma-3-27B, Qwen-3.5-4B and others5
    Abstract作者称 LODO 露出 CV 高估，数据集身份与安全方向部分重叠，标准域泛化干预关不上。

    LODO 用来检查恶意提示词分类器换成没见过的数据集后，还剩多少检测能力。。

    Paper analysisRead analysis
Load more