跳到正文
10月8日 · 周四

提示注入 · 论文

找到 2 篇
筛选1
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。
  1. 评测与基准arXiv:2609.19587 ·

    红队测试 Auto Mode:用注入与多上下文攻击绕过编码 Agent 阻断监控器

    红队评估编码智能体的阻断监视器,并提出Auto Mode++加固

    测试
    Opus 5、Opus 4.8、Opus 4.7 等 8 个应用层
    摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现,提出加固防御并指明多上下文防御挑战。
    • 定位与核心问题:本研究系统评估了生产级代码智能体阻断监视器在面对具有持续对抗意图的智能体时的表现,重点关注防止智能体造成外发权重等不可逆灾难性破坏的能力。
    • 方法与防御设计:研究梳理出监视器注入、多上下文攻击、覆盖漏洞和策略失效四类攻击形态;针对上述隐患,作者提出了包括heredoc轮次隔离、Unicode转义、强制监控工作目录编辑、压缩摘要意图审查以及三阶段分层审查在内的Auto Mode ++防御方案。
    • 主要实验发现:
      • 在基准评估中,生产环境默认的Auto Mode和Guardian在Opus 5攻击下四类攻击平均ASR分别达65%和72%(Figure 1)。
      • 注入攻击在扁平化文本渲染下呈现较高失效率,攻击者利用换行伪造可使Auto Mode的注入ASR达78.4%,而采用heredoc框架与转义的Auto Mode ++将其抑制至1.6%(Figure 5a)。
      • 动作碎片化攻击效果明显,随着多智能体协同数量由2个增至20个,Opus 5的ASR由约30%提升至88%;单智能体恶意压缩20次后ASR升至85%(Figure 7)。
      • Auto Mode ++将四类攻击平均ASR由65%降低至9%(Figure 1),同时在4,000个良性SWE-chat动作上保持误报率低于1%、单步延迟约1.2秒(Figure 8)。
    • 作者启示与结论:作者认为针对单步注入与工作目录覆盖漏洞的工程防御成本较低且具有防御效果;然而,防范跨越会话与压缩边界的多上下文攻击必须依赖具备全局上下文感知能力的智能体审查,这与交互式部署的延迟要求存在固有张力,在可接受成本下防范多上下文攻击仍是一个开放问题。
    完整解读
  2. 评测与基准arXiv:2609.32691 ·

    研究审计 Agent 安全评测缺陷:工具调用中介在间接提示注入下的有效评测框架

    提出卡点评测框架,以实参级谓词审计间接提示注入评测的测量偏差

    测试
    gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个应用层
    场景
    AI Agent
    摘要论文揭示了IPI评测中导致指标虚高的系统性缺陷,通过构建有效评测框架纠正了多项安全与模型能力结论。
    1. 研究定位与核心问题:论文针对大语言模型智能体间接提示注入(IPI)安全评测中测量有效性缺失的问题,系统审计现有基准并提出了消除测量缺陷的卡点评测框架。
    2. 方法与框架设计:作者归纳出静默载荷未送达(D1)、按工具名判定攻击(D2)、混淆环境错误与防御误拒(D3)及缺少审计轨迹(D4)四类缺陷;新框架通过实参级攻击谓词、场景独立环境、可解析注入定位符与前置可行性检查,在架构上使上述缺陷不可表达。
    3. 缺陷消除后的指标修正:在258次攻击的相同执行轨迹重评分下,纠正工具名判定缺陷使ASR从21.7%下降至实参级的1.2%(Table 1);纠正环境错误使FRR降低3.5个百分点(Table 1);被审计套件中91%未送达的攻击载荷被如实揭示(Table 1)。
    4. 模型脆弱性与能力结论的反转:在55场景精简套件中,此前在被审计框架下报告具有62.8% ASR的llama3.1:8b,在修正框架下真实ASR为0%(Table 3),其在41次触达载荷的情况下均未遵从恶意指令;同时纠正了此前误判gemma4:12b存在100%工具绑定障碍的结论,该模型在能力探测中实现10/10成功(Sec. VII-C)。
    5. 防御机制效能分析:在前沿模型gpt-5.6-terra上,无防御基线ASR仅为2.3%(Table 2);CapabilityRouter消除了唯一的成功攻击,而LLMJudge未能防御成功攻击却使FRR上升至11.5%(Table 2),因低基线下样本功效不足,各防御相比无防御均未达到统计学显著(p=1.0)。
    6. 作者结论与启示:作者认为当前智能体安全领域部分高危脆弱性数字在相当程度上属于测量伪影,评估框架的测量有效性是确立防御有效性结论的前提条件,而非研究附注。
    完整解读
已经到底了