Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

Agent safety · Papers

Found 37 papers
  1. Workerville: Toward an Organizational Behavior Explanation of Agent Safety

    构建 Workerville 基准,测量组织条件如何改变 Agent 的安全行为

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.2, Claude-Sonnet-4.6, Gemini-3.1-Pro and others6
    Abstract作者用 ACB 与 Workerville 测量组织条件对智能体安全的影响,并称结果支持可量化的组织行为框架。

    Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是:持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆,但既有安全评测多把这些通道拆开,没有统一的定量测量。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击

    Published
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  3. 论文提出长期记忆智能体的检索可允许性验证框架

    提出检索可采纳性核验框架,评测记忆智能体的记录资格与披露

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek V4 Pro, Gemini 3.6 Flash, GPT-5.6 Luna and others7
    Abstract作者用三值可采纳性和匹配召回界审计长时记忆检索,并分开报告支持、资格与披露。

    这是一套长时记忆检索的可采纳性核验协议,用来分开检查候选支持、资格、提示词暴露和答案披露,而不是提出新的检索算法。。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.07258

    AMU:用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    Published
    Setting
    AI Agent
    Abstract在完整血缘下,AMU 按列权限放行缓存,并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆,拦截经缓存流出的无权敏感列,并标出同名 KPI 的定义冲突。

    Paper analysisRead analysis
  5. AgentMonBench:面向长时程智能体行为监控的软件工程基准

    提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG

    Published
    Evaluated models
    GPT-5.6 Luna, GPT-5.6 Terra, GPT-5.6 Sol and others8
    AbstractAgentMonBench 评测后果性决策监控,EBG 组织证据。

    长时程软件工程任务里,用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器,并用免训练的 EBG 组织带源证据。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.05241

    StateWise: Diagnosing and repairing persistent operation state before agent actions

    Propose StateWise, which diagnoses and repairs invalid persistent state before coding agent actions

    Published
    Evaluated models
    GPT-5.6-sol, DeepSeek v4 Pro, Qwen 3.7 Max and others4
    AbstractStateWise repairs stale persistent premises before action.

    StateWise is a framework that diagnoses and repairs the persistent operational state of coding agents before executing actions with side effects.

    Paper analysisRead analysis
  7. DefensesarXiv 2610.02861

    论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构

    提出 Kubernetes 运维智能体的七层纵深防御框架与参考架构

    Published
    Setting
    AI Agent
    Abstract把运维智能体当不可信租户,用七层控制在完全攻破假设下约束行动。

    把 Kubernetes 上的运维智能体当作不可信租户,在假定提示注入已完全控制其工具选择的前提下,用基础设施重建数据面与控制面的边界。要解决的是:智能体读日志、注解、工单或 MCP 工具描述时,这些内容可以变成它带着自身凭据执行的命令。模型对齐和分类器只降低概率。

    Paper analysisRead analysis
  8. DefensesarXiv 2609.35659

    Tracekit: A tamper-proof intent-reasoning-action audit system for autonomous coding agents

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    Published
    Evaluated models
    Claude Code (claude -p, version 2.1), 独立评审(同一 CLI,无工具)
    AbstractTracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    Paper analysisRead analysis
  9. VoxParity 评测:语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity,固定转写只改音频,评测语音智能体是否按行业规则改工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    MiMo-V2.6-Pro, gemini-3.7-flash, Qwen3.8-Omni and others15
    AbstractVoxParity 用固定转写的音频对比和 words-only null,测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时,是否按行业规则改它所执行的工具调用。

    Paper analysisRead analysis
  10. 基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究

    用五阶段蒙特卡洛分析奖励作弊如何导致 Agent 围堵失效

    Published
    Setting
    AI Agent
    Abstract分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。

    这项研究用蒙特卡洛把奖励黑客接到外部安全事件上,比较的是控制组合,不是 Hugging Face 事件的再现概率。

    Paper analysisRead analysis
  11. 研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    Published
    Evaluated models
    GPT-5.6-Sol, GPT-6-Sol, Opus-5 and others11
    Abstract论文评估了本地智能体的轨迹防篡改能力,发现其可因外部指令或奖励追求而清除执行证据,亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    Paper analysisRead analysis
  12. OtherarXiv 2609.25413

    论文提议前沿 AI 开发者开展嵌入式评估

    提议前沿开发者托管嵌入式评估,审查内部智能体监控、权限与对齐

    Published
    Setting
    AI Agent
    Abstract论文建议前沿开发者现在就以接近员工的现场访问,持续审查内部监控、权限与对齐。

    嵌入式评估是一种第三方评估:独立评估者在前沿 AI 开发者现场获得接近员工的系统、人员与文档访问,用来审查依赖内部系统与实践的风险。

    Paper analysisRead analysis
  13. DefensesarXiv 2609.22724

    MATE:面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略

    Published
    Attacker
    Black-box
    Evaluated models
    MATE-0.5B, MATE-1.5B, MATE-3B
    AbstractMATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.17648

    多智能体 LLM 流水线中的信任传播与结构隔离

    用任务绑定令牌和策略预言机拦住多智能体流水线的未授权执行

    Published
    Evaluated models
    gemma4:31b-cloud
    Abstract结构性授权拦住了记忆投毒的未授权执行,持密钥时承重的是策略预言机。

    作者在一条会改写沙箱邮件库的四智能体流水线上,检查低权限失陷会不会变成未授权的真实动作。

    Paper analysisRead analysis