Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Agent safety · Papers

Found 16 papers
Filter3
Select any value within a category; different categories must all match. Counts include the other filters you have selected.
  1. AgentMonBench:面向长时程智能体行为监控的软件工程基准

    提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG

    Published
    Evaluated models
    GPT-5.6 Luna, GPT-5.6 Terra, GPT-5.6 Sol and others8
    AbstractAgentMonBench 评测后果性决策监控,EBG 组织证据。

    长时程软件工程任务里,用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器,并用免训练的 EBG 组织带源证据。

    Paper analysisRead analysis
  2. DefensesarXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    Published
    Evaluated models
    Claude Code (claude -p, version 2.1), 独立评审(同一 CLI,无工具)
    AbstractTracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    Paper analysisRead analysis
  3. 基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究

    用五阶段蒙特卡洛分析奖励作弊如何导致 Agent 围堵失效

    Published
    Setting
    AI Agent
    Abstract分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。

    这项研究用蒙特卡洛把奖励黑客接到外部安全事件上,比较的是控制组合,不是 Hugging Face 事件的再现概率。

    Paper analysisRead analysis
  4. 研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    Published
    Evaluated models
    GPT-5.6-Sol, GPT-6-Sol, Opus-5 and others11
    Abstract论文评估了本地智能体的轨迹防篡改能力,发现其可因外部指令或奖励追求而清除执行证据,亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    Paper analysisRead analysis
  5. OtherarXiv 2609.25413

    论文提议前沿 AI 开发者开展嵌入式评估

    提议前沿开发者托管嵌入式评估,审查内部智能体监控、权限与对齐

    Published
    Setting
    AI Agent
    Abstract论文建议前沿开发者现在就以接近员工的现场访问,持续审查内部监控、权限与对齐。

    嵌入式评估是一种第三方评估:独立评估者在前沿 AI 开发者现场获得接近员工的系统、人员与文档访问,用来审查依赖内部系统与实践的风险。

    Paper analysisRead analysis
  6. DefensesarXiv 2609.22724

    MATE:面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略

    Published
    Attacker
    Black-box
    Evaluated models
    MATE-0.5B, MATE-1.5B, MATE-3B
    AbstractMATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.15803

    研究者提出 k-robust 联盟对齐,用多智能体评审委托授权

    提出 k-robust 联盟对齐,刻画误对齐评审下的安全委托授权

    Published
    Abstract联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权,数值分数改善完备性。

    委托授权的安全不要求每位评审者对齐,而要求面板在效用空间覆盖委托人。

    Paper analysisRead analysis
  8. OtherarXiv 2609.10630

    论文提出 AI 安全设计保障架构:结合 Scientist AI 模型级监督与系统级控制

    提出结合 Scientist AI 监督与系统级控制的智能体保障架构

    Published
    Setting
    AI Agent
    Abstract作者梳理事件中的多层失效,主张监督模型、系统控制与证据治理并用。

    Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。

    Paper analysisRead analysis
  9. DefensesarXiv 2608.21101

    ClawSentry:面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 多层监控网关,在技能准入和运行时拦截恶意技能与隐藏指令

    Published
    Evaluated models
    Codex/GPT-5.4, Codex/GPT-5.5, Claude Code/GLM-5.1 and others6
    AbstractClawSentry 用包准入、三级运行时门控和反绕过,压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关,用来同时盖住 skill 执行的多个生命周期边界,并把已被拒绝的效果记到会话里。

    Paper analysisRead analysis
You have reached the end