Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 35 papers

Another 240papers do not have category tags yet and are not included in filtered results.

  1. DefensesarXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Abstract形式化验证可有效识别多步攻击,但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源,提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验,从隐藏表示识别未见越狱源

    Published
    Evaluated models
    Llama2-7B-chat, Qwen2.5-7B-Instruct, Gemma-2-9B-it and others4
    AbstractPersist-3 用有限窗口检验攻击流是否超出已知越狱源,检出率低于全历史 SR-DKW,但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器,用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.07774

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    AI summary研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。

    Published
    Evaluated models
    Qwen3-VL-30B-A3B-Instruct, Kimi-VL-A3B-Instruct
    Abstract读出而非操纵 router logits,可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。

    Paper analysisRead analysis
  4. 研究者提出统一滥用监控基准,覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标,统一评测分解攻击和提示注入下的智能体滥用监视

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架,动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  5. DefensesarXiv 2610.05163

    Researchers construct segmented prompt injection on Claude Code and Codex and release a boundary action audit benchmark

    提出 PAA 方法,在边界动作前审计长流程智能体的分阶段提示注入

    Published
    Evaluated models
    Claude Code (v2.1.172, Claude Sonnet 5), Codex CLI (v0.144.0, GPT-5.5)
    Abstract论文针对长流程注入提出边界动作审计与 PAA,在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    Paper analysisRead analysis
  6. OtherarXiv 2610.02662

    论文发现语言驱动机器人安全监控的细化缺口:安全高层计划可能产生不安全执行

    审计机器人安全监控的细化缺口,比较表面计划与图细化轨迹的裁决

    Published
    Abstract表面轨迹可漏掉图诱导的禁区进入。

    作者审计 RoboGuard 的一个假设:对高层动作轨迹的安全裁决,在补上语义图诱导的导航和已记录隐式效应之后是否仍然成立。做法是不改验证器,并固定同一条 LTL。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.38645

    用探针引导微调对齐模型且不损失可监控性

    用持续更新的探针做微调,降低有害性并保持线性可监测性

    Published
    Evaluated models
    Mistral 7B Instruct v0.1, Llama 3 8B Instruct Abliterated, Qwen3-14B
    Abstract持续重拟合的探针可降低有害性、提高诚实性,训练后概念仍能被线性探针读出。

    Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。

    Paper analysisRead analysis
  8. 基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究

    用五阶段蒙特卡洛分析奖励作弊如何导致 Agent 围堵失效

    Published
    Setting
    AI Agent
    Abstract分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。

    这项研究用蒙特卡洛把奖励黑客接到外部安全事件上,比较的是控制组合,不是 Hugging Face 事件的再现概率。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.30841

    为何扩散语言模型的越狱会成功:能量景观分析

    用能量势垒信号检测扩散语言模型的越狱

    Published
    Evaluated models
    LLaDA-8B-Instruct, LLaDA-1.5, Dream-v0-Instruct-7B and others4
    Abstract能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒,三个 logit 信号据此互补检测。

    Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱,并由此得到三个免训练检测信号。。

    Paper analysisRead analysis
  10. DefensesarXiv 2609.22724

    MATE:面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略

    Published
    Attacker
    Black-box
    Evaluated models
    MATE-0.5B, MATE-1.5B, MATE-3B
    AbstractMATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.15803

    研究者提出 k-robust 联盟对齐,用多智能体评审委托授权

    提出 k-robust 联盟对齐,刻画误对齐评审下的安全委托授权

    Published
    Abstract联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权,数值分数改善完备性。

    委托授权的安全不要求每位评审者对齐,而要求面板在效用空间覆盖委托人。

    Paper analysisRead analysis
  12. OtherarXiv 2609.10630

    论文提出 AI 安全设计保障架构:结合 Scientist AI 模型级监督与系统级控制

    提出结合 Scientist AI 监督与系统级控制的智能体保障架构

    Published
    Setting
    AI Agent
    Abstract作者梳理事件中的多层失效,主张监督模型、系统控制与证据治理并用。

    Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。

    Paper analysisRead analysis