Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Agent safety · Papers Found 19 papers “
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
Published Oct 6
Evaluated models Qwen3-235B-A22B-Instruct-2507 , gpt-oss-120b , Llama-4-Scout-17B-16E-Instruct and others5 Abstract DEFER 把确定性检查放在 judge 之前。DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。
提出检索可采纳性核验框架，评测记忆智能体的记录资格与披露
Published Oct 6
Evaluated models DeepSeek V4 Pro , Gemini 3.6 Flash , GPT-5.6 Luna and others7 Abstract 作者用三值可采纳性和匹配召回界审计长时记忆检索，并分开报告支持、资格与披露。这是一套长时记忆检索的可采纳性核验协议，用来分开检查候选支持、资格、提示词暴露和答案披露，而不是提出新的检索算法。 。
提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问
Published Oct 6 Abstract 在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。
提出 StateWise，在编码智能体行动前诊断并修复失效持久状态
Published Oct 4
Evaluated models GPT-5.6-sol , DeepSeek v4 Pro , Qwen 3.7 Max and others4 Abstract StateWise 在动作前修复失效的持久前提。StateWise 是在执行带副作用的动作之前，诊断并修复编码智能体持久操作状态的框架。
提出 VAL 框架，并用确认门与参数沙箱约束智能体高风险工具调用
Published Oct 3
Evaluated models DeepSeek-chat , Meta Llama 3.1 8B , Kimi 提出 Kubernetes 运维智能体的七层纵深防御框架与参考架构
Published Oct 2 Abstract 把运维智能体当不可信租户，用七层控制在完全攻破假设下约束行动。把 Kubernetes 上的运维智能体当作不可信租户，在假定提示注入已完全控制其工具选择的前提下，用基础设施重建数据面与控制面的边界。要解决的是：智能体读日志、注解、工单或 MCP 工具描述时，这些内容可以变成它带着自身凭据执行的命令。模型对齐和分类器只降低概率。
提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用
Published Sep 28
Evaluated models MiMo-V2.6-Pro , gemini-3.7-flash , Qwen3.8-Omni and others15 Abstract VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全失败
Published Sep 17
Evaluated models ChatGPT Deep Research 用任务绑定令牌和策略预言机拦住多智能体流水线的未授权执行
Published Sep 15
Evaluated models gemma4:31b-cloud Abstract 结构性授权拦住了记忆投毒的未授权执行，持密钥时承重的是策略预言机。作者在一条会改写沙箱邮件库的四智能体流水线上，检查低权限失陷会不会变成未授权的真实动作。
评测 Agent 记忆系统的软撤回执行情况，并提出陈旧检索防护
Published Sep 8
Evaluated models GPT-5.5 , Grok-4 , DeepSeek-V4-Flash and others9 Abstract 系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
提出 AgentKernel，用四支柱强制中介 Agent 的输入、工具与记忆
Published Aug 29 Abstract AgentKernel 是四支柱智能体 OS 设计，安全论证未附带实测数字。AgentKernel 是把安全做成组织原则的智能体 OS 架构，不是带跑分的攻防评测。
构建自演化基准 ActBench，评测协作智能体的行为安全
Published Aug 10
Evaluated models Claude-Opus-4.8 , Claude-Sonnet-4.6 , GPT-5.5 and others15 Abstract ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
提出 TMA-NM，以写时来源绑定抵御 Agent 长期记忆投毒
Published Jun 23
Evaluated models gpt-5-chat , gpt-4o-mini , claude-opus-4.1 and others8 Abstract TMA-NM 用来源绑定的行动权限挡住记忆洗白。TMA-NM 把 LLM 智能体长期记忆的行动权限绑到写时来源，用来挡住跨会话记忆投毒。
建模并利用多智能体网络中子智能体生成时的记忆继承漏洞
Published May 9
Evaluated models MiniMax M2.5 , Llama-4-Maverick-17B-128E-Instruct-FP8 , Qwen3.5-Plus and others5 Abstract 形式化子智能体继承，在 OpenClaw 上演示四类编排层漏洞并提出防御。作者对多智能体网络里的子智能体继承 做形式化分析，并用开源框架上的 PoC 演示编排层如何让单点妥协继续扩散。
提出进程外双通道对比分类，拦截计算机使用智能体的错误点击
Published Mar 16
Evaluated models multi-modal-embed-small Abstract 感知错误可被屏幕像素对调利用。作者把 CUA 的感知失败写成安全漏洞visual confused deputy ：智能体按看错的屏幕授权 click(x,y)，真实落点与它以为的元素不一致。
梳理自主 Agent 威胁并提出全生命周期防御蓝图 FASA
Published Mar 13 Abstract 以 OpenClaw 为例划分三层风险，并用 FASA 描述从输入到系统执行的防御。这是一份以 OpenClaw 为案例的威胁梳理和防御架构报告，不是带分数的攻击或防御评测。
提出对齐五阶段的纵深防御，缓解自主 Agent 跨阶段威胁
Published Mar 12 Abstract 这是对 OpenClaw 的生命周期威胁分析与分层缓解设计，案例为定性证据。这是对 OpenClaw 的生命周期威胁分析，并配套一套分层缓解设计。要处理的问题是：自主智能体把即时通讯、持久记忆、第三方插件和高权限执行连在一起之后，攻击不再限于单轮越狱，而会跨初始化到执行的多个阶段复合。作者认为只加固单个接口的防御，挡不住这种跨时间攻击。
提出 Aura，用可信内核中介移动 Agent 的身份、感知与动作控制
Published Feb 11
Evaluated models Gemini-3-Flash Abstract Aura mediates structured interactions via the Agent Kernel.Aura uses kernel-mediated structured agent interaction, replacing screen-interface mobile assistants. .
提出 Aegis 红队框架，多轮攻击高风险语音 Agent
Published Feb 7
Evaluated models GPT-4o , GPT-4o-mini , Gemini-1.5 Pro and others7 Abstract Aegis red-teams three types of voice agents: query-based access eliminates authentication and leakage successes, but behavioral attacks remain.Aegis uses multi-turn red-teaming evaluation on ALLM voice agents already integrated into business systems. The authors call this the first systematic red-teaming framework in this setting.
You have reached the end