Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Agent safety · Papers

Found 23 papers
Filter2

Attack type

Prompt injection20Poisoning and backdoors8

Attack technique

Dormant triggers3

Defense type

Instruction–data separation11Permissions and approval12

Impact

Unauthorized actions13Data and privacy leaks5Output manipulation3

System type

AI Agent23coding agent4Multi-agent systems7

Attack surface / entry point

User input23Web pages and interfaces12Documents and messages12Tool responses30Tool and skill descriptions17Code repositories and dependencies7Retrieval corpus4Memory writes11Inter-agent messages8Distribution channels8

Layer

Application layer23

System component

MCP and skills15Memory3Permissions and sandboxing21
Select any value within a category; different categories must all match. Counts include the other filters you have selected.
Attack surface / entry point：Tool and skill descriptionsAttack surface / entry point：Inter-agent messagesTopic: Agent safetyClear all
  3. DefensesarXiv 2610.02861

    论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构

    提出 Kubernetes 运维智能体的七层纵深防御框架与参考架构

    arXiv
    2610.02861
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Abstract把运维智能体当不可信租户，用七层控制在完全攻破假设下约束行动。

    把 Kubernetes 上的运维智能体当作不可信租户，在假定提示注入已完全控制其工具选择的前提下，用基础设施重建数据面与控制面的边界。要解决的是：智能体读日志、注解、工单或 MCP 工具描述时，这些内容可以变成它带着自身凭据执行的命令。模型对齐和分类器只降低概率。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.02432

    论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护

    提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感

    arXiv
    2610.02432
    Published
    Layer
    Application layer
    Setting
    LLM applications, AI Agent
    Attacker
    Black-box
    Evaluated models
    Gemma-3-27B-Instruct, Gemma-3-4B-Instruct, Llama-3.2-3B-Instruct and others12
    Paper analysisRead analysis
  5. DefensesarXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    Published
    Layer
    Application layer
    Setting
    Browser and computer use
    Evaluated models
    gpt-5, UI-TARS-1.5-7B, claude-sonnet-5 and others6

    Abstract提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.01349

    PACE：面向工具调用 LLM Agent 的来源感知能力强制执行

    提出 PACE，在工具调用前做路径隔离与效果授权

    arXiv
    2610.01349
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    gpt-5.6-luna, DeepSeek-V4-Flash, Qwen-3.8-27B
    AbstractPACE 在工具边界做路径割与效果核验。

    PACE 是面向工具调用型 LLM 智能体的运行时调解：当准入证据无法区分会改变行为的规格时，不在出口站点上撤销调解，而在最后一次工具调用前同时检查表示出的影响路径和请求权限。

    Paper analysisRead analysis
  7. AttacksarXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA，经 A2A 对等任务间接注入并植入常驻回调

    arXiv
    2610.00392
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    MiniMax-M3, deepseek-v4-pro, glm-5.3 and others8
    AbstractA2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流

    arXiv
    2610.00371
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Sonnet 4.5, Haiku 4.5, Qwen3-32B and others5
    Abstract配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.30824

    基于加密绑定身份验证能力令牌协调分布式 AI 智能体的提案

    提出身份绑定且委托只衰减的能力令牌，用上下文外钱包约束智能体

    arXiv
    2609.30824
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Abstract用只衰减的身份绑定令牌和上下文外钱包，约束代表人类行动的分布式智能体。

    代表人类行动的分布式智能体，需要一种不把密钥放进语言模型上下文的授权方式。

    Paper analysisRead analysis
  12. Risky behaviorarXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    arXiv
    2609.30266
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.6-Sol, GPT-6-Sol, Opus-5 and others11
    Abstract论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.14631

    IntentCap 提出按任务意图限定 LLM Agent 权限的机制

    提出 IntentCap，按来源字段所有权合成并裁决 Agent 能力租约

    arXiv
    2609.14631
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Abstract四源字段租约约束副作用。

    IntentCap 是把智能体能力绑到当前任务意图、并按上下文来源划分字段所有权的权限机制。

    Paper analysisRead analysis
  16. DefensesarXiv 2609.01677

    Skill-as-API：面向智能体软件工程的机密多智能体协作协议

    提出 Skill-as-API，隔离多智能体协作中的 skill 正文与系统提示词

    arXiv
    2609.01677
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems, coding agent
    Abstract协议把 skill 正文留在所有者侧，四层限制发现内容、权限期限和注入拼接。

    Skill-as-API 是面向智能体软件工程的协调协议，用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁：经通道或命名空间抽取专有方法，用注入让被调用模型输出系统提示词，以及协作结束后权限继续保留。

    Paper analysisRead analysis
  17. OtherarXiv 2608.30387

    研究者提出多智能体系统输出与委派链路双层存证方案

    提出多智能体输出与跨部署方委派的两层存证

    arXiv
    2608.30387
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Abstract两层证明记录放出字节与边授权。

    部署方侧的两层证明，用来在多智能体跨部署方委托之后回答两个事后问题：谁放出了这些字节，这条跨部署方边有没有父方授权。

    Paper analysisRead analysis
  19. DefensesarXiv 2609.29647

    AgentKernel：面向 Agent 的可信原生操作系统内核

    提出 AgentKernel，用四支柱强制中介 Agent 的输入、工具与记忆

    arXiv
    2609.29647
    Published
    Layer
    Application layer
    Setting
    AI Agent
    AbstractAgentKernel 是四支柱智能体 OS 设计，安全论证未附带实测数字。

    AgentKernel 是把安全做成组织原则的智能体 OS 架构，不是带跑分的攻防评测。

    Paper analysisRead analysis
Load more