Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

Agent safety · Papers

Found 34 papers
  1. 研究提出 Agent 安全新维度:识别未履行的安全义务

    提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务

    Published
    Evaluated models
    ObligationGuard, Claude-Opus-4.8, GPT-5.6-Sol and others17
    Abstract义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击

    Published
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  3. Paper reveals that LLM agent tool calls are rewritten during execution paths, and proposes IntAct as a fix

    提出 IEC 与 IntAct,测量并修复 Agent 工具调用的路径篡改

    Published
    Evaluated models
    qwen3-coder-plus, Qwen2.5-Coder-32B, Qwen2.5-72B and others4

    Abstract论文界定工具调用在执行路径中的意图偏离问题,提出无执行归因协议与跳级修复,为智能体工程提供评测与设计准则。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.02861

    论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构

    提出 Kubernetes 运维智能体的七层纵深防御框架与参考架构

    Published
    Setting
    AI Agent
    Abstract把运维智能体当不可信租户,用七层控制在完全攻破假设下约束行动。

    把 Kubernetes 上的运维智能体当作不可信租户,在假定提示注入已完全控制其工具选择的前提下,用基础设施重建数据面与控制面的边界。要解决的是:智能体读日志、注解、工单或 MCP 工具描述时,这些内容可以变成它带着自身凭据执行的命令。模型对齐和分类器只降低概率。

    Paper analysisRead analysis
  5. DefensesarXiv 2610.02432

    论文提出 LLM 输入扰动鲁棒性度量,并发布 ASA 攻击与 AttestMCP 防护

    提出 ASA 与 AttestMCP,度量并降低 LLM 对输入序列扰动的敏感

    Published
    Attacker
    Black-box
    Evaluated models
    Gemma-3-27B-Instruct, Gemma-3-4B-Instruct, Llama-3.2-3B-Instruct and others12
    Paper analysisRead analysis
  6. DefensesarXiv 2610.02664

    论文提出 GHOST:长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御,抑制长程 Agent 遗忘跨轮安全约束

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, DeepSeek-V4-Pro, GLM-5.2 and others7

    Abstract揭示 GHOST 跨轮约束遗忘风险,构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    Paper analysisRead analysis
  7. DefensesarXiv 2610.03089

    COBRA: A Dual-LLM Architecture for Defending Computer-Using Agents Against Branch-Jumping Attacks

    提出 COBRA 双 LLM 架构,防御计算机使用 Agent 的分支转向攻击

    Published
    Evaluated models
    gpt-5, UI-TARS-1.5-7B, claude-sonnet-5 and others6

    Abstract提出分支转向防御架构 COBRA,通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    Paper analysisRead analysis
  8. DefensesarXiv 2610.01349

    PACE:面向工具调用 LLM Agent 的来源感知能力强制执行

    提出 PACE,在工具调用前做路径隔离与效果授权

    Published
    Setting
    AI Agent
    Evaluated models
    gpt-5.6-luna, DeepSeek-V4-Flash, Qwen-3.8-27B
    AbstractPACE 在工具边界做路径割与效果核验。

    PACE 是面向工具调用型 LLM 智能体的运行时调解:当准入证据无法区分会改变行为的规格时,不在出口站点上撤销调解,而在最后一次工具调用前同时检查表示出的影响路径和请求权限。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.02569

    Pincer:用数字分身学习用户偏好并执行动态最小权限

    为 Agent 提出资源层授权系统 Pincer,用数字分身执行动态最小权限

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Haiku 4.5, Muse Spark 1.2 Contributor
    AbstractPincer 在资源层以三票合取做授权。

    Pincer 是加在现成 coding agent 上的资源层授权防御:用只受用户侧信息影响的 digital twin 做动态最小权限,并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳,以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作,并认为推理代码或复杂 shell 的效果在这一层不实际。

    Paper analysisRead analysis
  10. JEV 作为智能体轨迹安全评判器:与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    Published
    Setting
    AI Agent
    Evaluated models
    JEV, GLM-5.2-Tencent, DeepSeek-V4-Flash and others5
    AbstractJEV 的四基准平均正类 F1 最高,延迟和估计费用更低,但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.33371

    论文提出保险库中介执行边界,评估 LLM Agent 的 API 凭据处理风险

    提出并评测保险库中介执行边界,隔离 Agent 的 API 凭据

    Published
    Setting
    AI Agent
    Evaluated models
    Corvic Security Vault
    Abstract作者称,凭据分离可减少披露路径,但权限、操作授权和配置验证仍需独立控制。

    这是一项智能体 API 凭据威胁分析及 Vault 执行边界的功能评测。作者关心的不是模型能否承诺保密,而是认证材料是否会进入模型、日志、记忆和执行代码。

    Paper analysisRead analysis
  12. Agentic Commerce Bench:衡量会花钱的智能体的欺诈检测能力

    构建支付欺诈基准 ACB,评测花钱智能体的欺诈检测

    Published
    Setting
    AI Agent
    Evaluated models
    gordonguard, pattern judge
    AbstractACB 把支付欺诈与智能体操纵分开测量,作者强调观察权限、误报预算和微支付复核成本。

    ACB 是一套智能体支付欺诈基准与检测参考栈,目标是衡量钱是否被不当提取,而不仅是智能体是否接受了恶意指令。

    Paper analysisRead analysis
  13. IntentFlux 基准测量 LLM Agent 的意图漂移并给出 StateForge 修复方案

    提出 IntentFlux 测量 Agent 意图漂移并提出 StateForge 修复

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.7, DeepSeek V4 Pro, Gemini 3.5 Flash and others9
    AbstractINTENTFLUX 量化意图漂移,STATEFORGE 用显式状态部分缩小差距,但未回到单轮水平。

    这篇工作把“用户改口后,过时意图仍影响答案或工具动作”做成可评分的多轮失败,并试验在生成前显式维护活跃状态。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.30824

    基于加密绑定身份验证能力令牌协调分布式 AI 智能体的提案

    提出身份绑定且委托只衰减的能力令牌,用上下文外钱包约束智能体

    Published
    Abstract用只衰减的身份绑定令牌和上下文外钱包,约束代表人类行动的分布式智能体。

    代表人类行动的分布式智能体,需要一种不把密钥放进语言模型上下文的授权方式。

    Paper analysisRead analysis
  15. DefensesarXiv 2609.18674

    CaMeLoT:用 CTL 时序逻辑在执行前静态验证 Agent 计划

    提出 CaMeLoT,用 CTL 在执行前静态核验 Agent 计划

    Published
    Setting
    AI Agent
    Evaluated models
    claude-haiku-4-5-20251001, GPT-4.1 nano, GPT-4.1 mini and others5
    AbstractCaMeLoT 在执行前用 CTL 模型检验补上 CaMeL 缺少的整段执行规范,并用反例修复计划。

    CaMeLoT 是 CaMeL 的神经符号扩展:在工具调用之前,用模型检验判断受限 Python 计划是否满足时序安全策略和从提示词抽出的任务性质。

    Paper analysisRead analysis
  16. DefensesarXiv 2609.14631

    IntentCap 提出按任务意图限定 LLM Agent 权限的机制

    提出 IntentCap,按来源字段所有权合成并裁决 Agent 能力租约

    Published
    Setting
    AI Agent
    Abstract四源字段租约约束副作用。

    IntentCap 是把智能体能力绑到当前任务意图、并按上下文来源划分字段所有权的权限机制。

    Paper analysisRead analysis