跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 2 篇
筛选2
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 3 篇还没打标签,不在筛选结果里。

另有 3 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv:2609.22076 ·

    APort Vault 发布:用 4,371 条人工攻击评测 AI Agent 支付授权

    提出APort Vault,评测支付智能体授权层对越权转账的拦截

    测试
    Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个应用层
    场景
    AI Agent
    摘要22.5 万次重放评估显示,工具边界的确定性授权层在放行合规支付的同时拦截了全部越权转账。
    • 定位与核心问题:论文发布了 APort Vault 基准,旨在解决工具调用型智能体中越权支付风险仅依赖模型端拒答而缺乏工具边界确定性授权检查量化评估的问题。
    • 评测方法与体系:基于银行 CTF 中 1,128 个会话的 4,371 次真实人类攻击,在 14 款模型、5 级策略配置和单/多轮轨道下,重放对比裸模型与接入 OAP 确定性策略引擎的双架构状态变更。
    • 越权转账被有效阻断:在 Level 2 至 Level 4 中,裸模型在 76,842 次评估中产生 140 次非许可转账,而授权层在 69,297 次评估中为 0 次(按源会话聚类上限为 0.38%),在 68,970 组严格匹配三元组中为 105 对 0(Table 2、Section 4.5)。
    • 正常支付未受抑制:授权层在 Levels 2 至 4 成功执行了 25,370 笔合规支付,评估的 25,640 次转账调用中仅拒绝了 187 次,两架构间的成对请求率差异仅为 +0.084 个百分点(Table 2、Table 4)。
    • 失效高度集中且迁移性弱:140 次违规转账有 47.9%(67 次)源于单个会话,伪造凭证攻击主导了 Level 2 的 111 次多轮违规;多轮攻击无一攻破超过 5 款模型,模型端安全表现无法预测跨层级鲁棒性(Section 5.1、5.2、5.4)。
    • 作者结论与启示:作者认为单靠选择最佳模型无法消除部署残留风险,而在工具边界实施确定性策略检查能够在维持智能体执行效用的同时为越权风险提供可验证的确定性保障。
    完整解读
  2. 防御arXiv:2610.02664 ·

    论文提出 GHOST:长程智能体在良性对话中遗忘早期安全约束,GPT-5.5 发生率 11.5%

    提出STAR-Guard双层防御缓解长程智能体遗忘安全约束

    测试
    GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个应用层
    场景
    AI Agent
    摘要揭示 GHOST 跨轮约束遗忘风险,构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
    1. 针对长程工具使用智能体在多轮良性交互中遗忘先前安全约束的失效现象,形式化定义了跨轮安全约束忽略治理危害(GHOST),并构建了可执行评测基准 SCARBench。
    2. 核心问题在于智能体在多轮对话中能够恢复历史任务,但早先设定的前置要求或操作禁令容易脱离治理,导致不可逆的违规执行。
    3. 理论分析表明,若残留条件违规风险存在非可和下界,智能体轨迹几乎必然进入危险区域;据此提出 STAR-Guard 防御框架,耦合在线约束解析语义恢复与运行时确定性审计拦截。
    4. SCARBench 评测显示,在良性长上下文中 GPT-5.5 的严格 GHOST 率达 11.5%,Qwen3.5-4B 达 27.8%(Table 1);长历史在所有模型上均放大了安全约束恢复损失(Figure 3)。
    5. 引入 STAR-Guard 后,GPT-5.5 的安全完成率从 76.3% 提升至 94.0%,且未出现任何违规完成与 GHOST 事件(Table 2);在 Qwen3.5-4B 上将安全完成率由 47.0% 提高到 81.2%,显著超越各非 Oracle 基线。
    6. 作者认为,上下文增长会实质性削弱长程智能体对历史安全约束的治理效能,仅靠通用大模型检索或提示提醒难以保障安全,需将概率性语义恢复与执行前确定性规则屏障相结合。
    完整解读
已经到底了