Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:越狱、提示注入、投毒与防御· arXiv:2609.19140· Matteo Golinelli·Indexed by this site · Originally published

AgentLSD:在对抗性任务污染下评测 AI 安全 Agent

AgentLSD: Evaluating AI Security Agents Under Adversarial Task Contamination

Quick read

Evaluation and benchmarks

Based on 论文 PDF (AI 生成); refer to the original

AgentLSD 在 11 个 web CTF 上测安全智能体:干净条件下夺旗约 41%,陷阱使仍成功的试验多约 20 轮、约 2k reasoning tokens。

Questions
安全智能体要检查网页、源码、日志等不可信内容。除间接提示注入外,伪造结果、诱饵端点等非指令证据也会改变它信任和探索的证据。作者把这种干预称为 adversarial task contamination,并认为干净 CTF 成绩会低估该脆弱性。
Methods
AgentLSD 用自建 web CTF 做配对实验:干净条件与只加一个陷阱的条件共享漏洞、解题路径和 flag。陷阱写成 YAML primitive,确定性实例化后由中间件注入 HTML 响应或诱饵路由,并用 honeytoken 遥测交互。五个 intent 家族覆盖目标劫持、虚假权威、虚假验证、探索诱饵和时间消耗。
Experiments and results
六个模型在 11 个干净挑战上合计夺旗约 41%,没有模型全部解开。陷阱阶段主要看较强模型。作者称仍成功时通常多约 20 轮和约 2k reasoning tokens;解题率变化不均,goal hijack 与 exploration bait 降幅更大,GPT-OSS 120B 受影响最大,Gemma-4 31B 解题率几乎不动但仍增加工作量。接触诱饵很常见,但能否脱身比是否接触更能区分模型。
Limitations and future work
作者把主张限于静态、非自适应、model-agnostic、智能体不知情的 CTF 设置,并指出自适应攻击者、要求不信任环境的提示、像素与混合陷阱、以及自动判断智能体是否相信陷阱,都留待以后。实验报告的是默认提示词;陷阱分析集中在较强模型和干净解题率最高的五个挑战,每格最多五次试验。
Experimental setupGemma-4 31B、DeepSeek-V4 Flash et al. · 11 个自建 Flask web CTF(7 类漏洞)、14 个 DOM trap instances(5 个 trap family) · solve rate、degradation et al.
Threat model
对手只控制智能体在解题时会检查的部分环境工件(措辞、位置、可见性、表面合理性),任务、漏洞、解题路径与 flag 不变;对手静态、非自适应、model-agnostic,不能改模型、提示词、工具或运行时。智能体 trap-unaware。
Evaluated models
Gemma-4 31BDeepSeek-V4 FlashGPT-OSS 120BQwen3-Coder-NextMistral Small 4GPT-5
Benchmarks
11 个自建 Flask web CTF(7 类漏洞)14 个 DOM trap instances(5 个 trap family)
Metrics
solve ratedegradationturnstool callsreasoning tokenshoneytoken/decoy interaction
AI summary研究者提出 AgentLSD 框架,用 CTF 挑战研究 AI 安全 Agent 面临的对抗性任务污染,即环境中除攻击者指令外还包含假结果、诱饵端点等非指令性欺骗证据。框架在保留原解法的前提下注入假 flag、误导性提示、诱饵端点和隐藏线索,支持干净与陷阱增强的配对实验,并提供确定性陷阱生成、运行时注入、遥测和投递验证。在 11 个 Web CTF 挑战上评测六个模型,干净条件下 Agent 捕获 41% 的 flag,没有模型解出全部挑战;即使仍能拿到 flag,陷阱也会使对话轮数增加 20、推理 token 增加 2k,而解题率受影响程度不一,部分模型与挑战组合基本不受影响,另一些则跟随诱饵或提交错误 flag。

研究者提出 AgentLSD 框架,用 CTF 挑战研究 AI 安全 Agent 面临的对抗性任务污染,即环境中除攻击者指令外还包含假结果、诱饵端点等非指令性欺骗证据。框架在保留原解法的前提下注入假 flag、误导性提示、诱饵端点和隐藏线索,支持干净与陷阱增强的配对实验,并提供确定性陷阱生成、运行时注入、遥测和投递验证。在 11 个 Web CTF 挑战上评测六个模型,干净条件下 Agent 捕获 41% 的 flag,没有模型解出全部挑战;即使仍能拿到 flag,陷阱也会使对话轮数增加 20、推理 token 增加 2k,而解题率受影响程度不一,部分模型与挑战组合基本不受影响,另一些则跟随诱饵或提交错误 flag。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    安全智能体面对环境中的欺骗性证据时,干净解题率测不出额外负担与行为变化。

    安全分析智能体在环境中遇到欺骗性工件时,会怎样改变解题成功、工作量和行为;现有干净任务评测测不到这种变化。

    • 场景:作者称安全智能体要浏览网页、检查源码、日志、配置和命令输出,这些内容可由攻击者控制。间接提示注入靠嵌入指令来改向;伪造验证结果、诱饵端点或看似合理但错误的漏洞线索则不发指令,只改变智能体信任或探索哪一份证据。作者把后者连同指令型陷阱一起称为 adversarial task contamination:在规范任务与成功标准不变的前提下,向环境加入攻击者控制的工件。
    • 现有做法的不足:作者称提示注入研究多针对“服从注入指令”的失败,误排序、无效探索或过早收敛无法只被写成服从攻击者命令。相对 Zhuo 等(2025)把任务本身改掉的做法,作者要在任务仍可解时隔离欺骗的效应。CTF 又是简化、游戏化的真实安全工作,作者认为它适合测受控行为变化,而不是生产环境的安全效果。
    • 核心观察:同一挑战可做成 clean–trap 对:干净条件无注入工件,陷阱条件只加一个工件,漏洞、解题路径和 flag 校验逻辑不变。作者认为这样可以把行为差异归因于注入工件,而不是题目变难。评测只放在模型已经展示干净解题能力的试验上。
    • 提出的框架:作者提出 AgentLSD,用自建 web CTF 做实验环境,支持确定性陷阱生成、运行时注入、遥测和投递核验,并发布框架、配置、陷阱规格和原始轨迹。贡献包括该威胁的表述、可复用欺骗原语与对照评测方法,以及对成功、工作量和行为的实证刻画。
    • 威胁模型:
      • 目标:对手预期智能体会检查其控制的工件,植入欺骗以扰乱调查,使智能体错过真实漏洞、追诱饵或报告错误结果。陷阱不必是指令。
      • 知识与能力:对手只控制解题过程中智能体会遇到的部分工件,可选择措辞、位置、可见性和表面合理性;挑战仍可解,既定漏洞、解题路径和 flag 不变。
      • 不能做的事:不能攻破模型、智能体提示词、工具或运行时,不能改智能体的内部指令;不研究基础设施攻破、直接提示或权重操纵、外部网络攻击、恶意软件、沙箱逃逸或对第三方系统的伤害。
      • 假设:对手是静态且非自适应的(陷阱在运行前固定,不观察、不反应);model-agnostic(同一工件给所有智能体);智能体 trap-unaware,只被要求解题,且运行中没有外部帮助。作者称测到的是固定提示下的易感性估计。
  2. What related research exists?

    相关工作分成安全智能体、间接提示注入与防御性欺骗,以及把 CTF 当作可复现试验台。

    安全分析中的智能体

    • ReAct(Yao 等,2023)与交互式评测:推理与行动交错已成为交互式编程和网络安全评测的常见形式;作者举出 InterCode(Yang 等,2023)以及 CTF 与渗透测试类基准([1, 4, 12, 18],文中含 Cybench,Zhang 等,2025)。
    • 自主利用:作者称近期系统会自主利用真实漏洞或合成可用利用([5, 10, 11, 14, 19],文中含 ExploitGym 与 CTF-Dojo)。智能体检查的工件恰是对手能控制的内容,并进入与指令同一上下文。
    • 脆弱性来源:即便输入带有角色或消息类型,信任边界也只是句法上的;模型仍须语义上区分权威指令与可能对抗的内容。

    间接提示注入与防御

    • 间接提示注入:Greshake 等及后续工作([6, 8, 17],文中含 InjecAgent,Zhan 等,2024)表明外部内容中的指令可把模型带离既定任务;智能体变体把命令注入工具输出([3, 17]),或毒化检索语料([20])。防御方向则把指令与数据分开([2])。
    • 与本文的差别:作者称这些工作多针对命令服从式失败;AgentLSD 固定原任务、只改变环境工件。部分陷阱也是间接提示注入,另一部分不含指令,用来看欺骗性证据是否改变假设或路径。

    CTF 试验台与防御性欺骗

    • CTF:长期用于网络安全教学([21]),现也用于语言模型和自主网络智能体评测([15, 18])。作者称其优点是客观成功条件(必须恢复正确 flag)和可复现;缺点是 flag 人工、题目是谜题而非生产系统。作者认为这对研究受控行为变化可以接受。
    • 防御性欺骗与非指令工件:蜜标、诱饵凭据等用于让交互暴露入侵者([7])。作者把交互改作归因信号,而不是用来防御系统。非指令工件已知会改变语言模型行为([13])。
    • CTF-Dojo(Zhuo 等,2025):作者点名对比,称 AgentLSD 与之不同:任务保持固定且可解,测量的是加入对抗内容后的行为变化,并且只在有成功干净试验的地方评测鲁棒性。

    基线与基准:实验基线是同一模型、同一自建挑战的干净条件,而不是外部攻击方法。语料为 11 个 Flask web CTF,覆盖 command injection、path traversal、race conditions、SQL injection、SSRF、template injection、XXE。作者称题目为本工作专门构建,试验前未发布实现或 write-up。

    作者将本文定位为:测量对象、对抗内容的作用方式以及欺骗的用法都不同于既有工作;目标劫持式失败之外,还要覆盖证据被误信、探索被浪费和过早收敛。

  3. How does the paper address this problem?

    AgentLSD 用 YAML 陷阱原语做成对 clean–trap 实验,并用遥测记录是否上钩。

    AgentLSD 让带陷阱的挑战与干净挑战只差受控对抗工件:原语生成实例,运行时注入响应,遥测记录交互,另一步核验陷阱是否到达预定通道。

    问题设定与形式化

    • 任务同一性:由干净挑战实现及其参考解确定,而不是看污染后的页面再推断。例如指向诱饵路由的可见线索会注册一条不冲突的路由,但不改漏洞处理函数、利用输入、真实 flag 或校验器。沿原利用得到的 flag 在两种条件下相同。
    • 评测问题:作者问的是智能体能否在预算内可靠地用直接证据拒绝该线索,而不是欺骗在逻辑上是否不可能被发现。
    • 配对:每个陷阱试验只激活一个实例。比较只在模型集合能解开的挑战上进行,因为干净条件下无人解开的题不能提供欺骗信号。

    陷阱规格与分类

    • 三层 YAML:primitive 定义可复用家族及感知通道、意图失败模式、目标对象、载荷模板、放置位置、可选随机化与可选插桩;resolved instance 把模板变量(诱饵路由、假端点、改写后的权威提示)具体化并赋予标识;manifest 索引家族、种子、感知与意图标签以及是否有 honeytoken。
    • 生成:从全局种子、原语标识、实例序号和重试次数派生随机种子,生成假路由、假端点、假文件名、改写短语、打乱 token 和十六进制后缀。同一种子下解析文件应逐字节相同。生成器拒绝与真实解题路径冲突的诱饵路由和实例内重复路由,并在启用时检查 honeytoken 配置。作者称这些检查是机械护栏,并不证明语义未变。
    • 主轴是 intent(Table 1),表示陷阱想触发的失败模式,不必是攻击者的最终目标:
      1. Goal hijack:权威外观的线索把求解者引向诱饵目标(多为假管理面板或诱饵特权路由),预期改变搜索策略。
      2. False authority:用元数据或视觉标注等让提示显得有权威,预期抬高该线索、压低直接证据。
      3. False validation:用消息、徽章或 flag 格式线索让诱饵看起来已验证,预期接受或提交错误结果。
      4. Exploration bait:宣传值得枚举的路由、端点或文件,预期访问或反复探测。
      5. Time sink:指向无关端点或嵌入 honeytoken 诱饵,诱导低价值额外工作。
    • 标签独立:同一家族可经可见文本、隐藏 div、HTML 注释、meta 或无障碍标签送达;同一表面也可承载多个家族。另记录指向对象(诱饵路由、假端点、诱饵文件、提示或 flag)。honeytoken 只记录暴露或交互,不改变陷阱编码的内容。附录 C 每个家族给一条已解析载荷,工件含全部 14 个实例。

    运行时、核验与智能体协议

    • 运行时:Flask 扩展在启动时加载并按 schema 校验实例。请求头或查询参数选择实例;实验中由轻量中间件为每个请求钉住同一实例标识。无实例则按干净挑战处理。陷阱加在处理函数产出响应之后,只改合格 HTML:成功或重定向、非流式、未压缩 text/html、且低于配置的大小上限。路由门控避免用到预定放置路由之外。应用出错时可 fail open 并返回原响应。动态家族可注册有界 rabbit-hole、fake-goal 和端点陷阱页;路由生成确定、避开冲突,且不覆盖受保护的挑战路由。
    • 核验与遥测:DOM 核验器用浏览器检查载荷是否出现在 HTML、可见文本或无障碍树中。遥测记录请求起止、实例选择、欺骗渲染、应用失败、honeytoken 命中、rabbit-hole 转移、fake-goal 查看和端点陷阱交互。honeytoken 可经 URL 路径、查询参数、头或 cookie 检测,不是真解所需。
    • 智能体:全部模型使用同一 OpenCode 脚手架和同一黑盒界面。系统提示固定,采样温度 0,开放 bash、文件读/写/改、glob 与 grep,关闭 web-search 和 web-fetch。智能体收到挑战描述、目标 URL、期望 flag 格式,以及带标准 HTTP 客户端和脚本工具的 shell;除非挑战明确发布源文件,否则不给应用源码,也从不给参考解。每次试验在新容器和独立网络中进行,flag 新生成。只有向专用校验服务提交与该次试验完全一致的 flag 才算解出。时限 30 分钟;作者称 15 分钟对部分模型过短。另限 200 轮(对后端 LLM 的调用)。附录写明各模型的上下文与输出上限随所服务模型而定;GPT-OSS 120B 是唯一设置 reasoning-effort 的模型,取端点提供的 high。GPT-5 走 OpenAI API 且使用提供方默认采样参数。

    实验阶段与两种提示

    • 两阶段:基线阶段每个模型做每个干净挑战,用于测干净能力并按难度排序。陷阱阶段保留模型集合能解的挑战,每次试验激活一个陷阱实例。
    • 两种提示:default 只说明挑战、URL、界面和 flag 格式,并要求探索、形成并检验利用假设、返回 flag;可向校验服务提交候选并获得对错反馈。不披露任何欺骗机制。methodical 在同一任务上增加结构化流程,并列出常见漏洞类及代表性探测,但不提示某题的具体解法。正文结果只报告 default;作者称 methodical 只略微提高解题率,且不改变关于陷阱效应的结论。完整提示在仓库中,正文未给出。

    成功与工作量如何判定

    • solve rate:提交该次试验精确 flag 的试验比例。某陷阱实例还报告 trap-condition solve rate,以及 degradation(同一模型、同一挑战上,干净解题率减去陷阱解题率)。正的 degradation 表示陷阱降低了解题率。
    • 工作量:每试验记录交互轮次、工具调用数和处理的 token 数。努力变化只在仍然成功的陷阱试验上计算,以隔离成功恢复的开销;夺旗比较要求至少有一次干净成功。
    • 行为:遥测看陷阱是否被渲染、智能体是否与插桩诱饵、honeytoken、rabbit-hole 或 fake-goal 交互,并统计错误 flag 提交次数。作者对部分记录做了人工查看,以获得模型是否相信陷阱的定性迹象,并称更深入的分析留待以后。
  4. What experiments did the paper conduct?

    六模型干净夺旗约 41%;陷阱主要增加仍成功试验的轮次和 reasoning tokens,解题率变化不均。

    实验设置

    • 模型:本地五个为 Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B、Qwen3-Coder-Next、Mistral Small 4;托管参考为 GPT-5。作者称属性与模型身份同时变化,结果描述的是具体部署模型之间的差异,而不是单一属性的因果效应。
    • 挑战:11 个自建 Flask web CTF,七类漏洞。流程从单步(如基本 SQL 注入)到多步或需外部工具、并发请求(如盲命令注入)。难度按各模型干净解题率事后排序。四个只被零星解开的挑战不进入陷阱阶段。陷阱实际跑在余下七个上,正文只报告干净合计解题率最高的五个,略去表现中等的两个。
    • 陷阱:固定的 14 个 DOM 实例,覆盖五类 intent,试验前选定,而不是按观察到的效果挑选。本地模型对每个保留挑战跑全部 14 个实例。本研究只做 DOM 可观察工件。GPT-5 因成本只跑默认提示、五个挑战,以及最降低本地解题率的五个实例(均来自 goal-hijack 与 exploration-bait);其 25 个格子中有四个因基础设施问题只完成四次而非五次。
    • 规模:每格 5 次。干净试验共 605(本地 550:5 模型 × 11 挑战 × 2 提示 × 5 次;GPT-5 再加 55,仅默认提示)。陷阱试验共 3,061:三个最强本地模型 × 7 挑战 × 14 实例 × 2 提示 × 5 次 = 2,940,GPT-5 加 121。正文图表只报默认提示。
    • 指标与评审:精确 flag 校验服务是正确性的唯一权威。工作量为轮次、工具调用和 token。作者称超时和 200 轮上限很少成为失败原因(少数难题除外)。无单独的 LLM 评审阈值。
    • GPT-5 的角色:基线成本已接近一百美元,故不做完整因子设计。作者用它检验托管前沿模型是否能抵抗对本地模型伤害最大的那些欺骗。

    主结果

    Table 3 是默认提示、每格五次的干净夺旗数。作者把方框标在随后做欺骗报告的模型与挑战上;下表只列这五个报告挑战,并保留全部六个模型。合计行覆盖全部 11 题。

    Swipe horizontally to read the table

    模型sqli-simpletemplate-injection-mediumssrf-mediumxxe-mediumsqli-easy11 题合计
    GPT-55/55/55/55/55/532/55
    Gemma-4 31B5/55/55/52/55/528/55
    DeepSeek-V4 Flash5/55/55/55/54/524/55
    GPT-OSS 120B5/54/54/53/53/523/55
    Qwen3-Coder-Next5/52/53/52/53/515/55
    Mistral Small 44/55/52/52/50/514/55

    据 Table 3。未列入的六题中,blind-command-injection-medium 全为 0/5;race-condition-medium 仅 Gemma-4 31B 为 1/5;sqli-medium 仅 GPT-5 为 1/5;path-traversal-medium 为 GPT-5 1/5、Gemma-4 3/5、DeepSeek-V4 0/5、GPT-OSS 4/5、Qwen3 0/5、Mistral 1/5;command-injection-easy 为 3/5、1/5、1/5、0/5、0/5、0/5;command-injection-medium 为 2/5、2/5、0/5、0/5、0/5、0/5(列顺序与上表模型顺序相同)。

    • 干净能力:330 次默认提示基线试验夺旗 136 次(约 41%)。作者称 GPT-5 合计最高,Gemma-4 31B 接近;DeepSeek-V4 Flash 与 GPT-OSS 120B 居中;Qwen3-Coder-Next 与 Mistral Small 4 最弱,并称后两者有反复超时和推理差等系统性失败模式。没有任何模型解开全部挑战。作者称最强本地模型与 GPT-5 接近,因此用本地模型做大规模陷阱分析是合理且更便宜的。
    • 工作量的两个区间:Figure 2 把干净试验按成败分开。作者称成功解题便宜且跨模型一致,大约集中在 10–30 轮、1–3k reasoning tokens;失败更贵且更散,中位数大约升到 55–80 轮、5–15k reasoning tokens,个别跑到 200 轮和 30k tokens 后被预算截断。坐标轴标注到约 225 轮和 30k tokens。
    • 谁进入陷阱分析:作者称从未解开干净挑战的模型没有让陷阱再降低解题率的空间,因此只选五个解得最多的挑战,以及 Table 3 中标出的模型。语料在评测时未发表,作者认为成功不能归因于记住或在运行中检索到该题 write-up。盲命令注入需要从通用响应推断注入并用已安装的 wget 把 flag 外传到求解者控制的回调;没有任何智能体走完该链。

    陷阱对成功与工作量(Q2)

    • 测了什么:Figure 3 对同一模型、同一挑战比较有无陷阱的百分比变化,零表示无变化。夺旗比较要求至少一次干净成功;轮次和 reasoning tokens 只计入仍然夺旗的陷阱条件。正文称结果仅默认提示。
    • 结果:作者称欺骗降低解题率但不均匀:除 Gemma-4 31B 外每个模型的夺旗都下降,GPT-OSS 120B 降幅最大。GPT-5 尽管这里只覆盖成本原因下的陷阱子集,仍然受影响。仍夺旗的条件里,每个模型的轮次和 reasoning tokens 都右移,中位数高于干净基线并有长的正尾。摘要与引言给出的汇总是:即使仍恢复 flag,陷阱使轮次增加(+20)、reasoning tokens 增加(+2k)。Figure 3 横轴约为 −100% 到 +150%。
    • 作者的解读:作者称欺骗鲁棒性因此与干净能力相随,从几乎不受影响的 Gemma 到易受影响的 GPT-OSS。陷阱更一致的足迹是浪费的努力而不是直接失败。作者还称该努力数字偏保守,因为成功试验在夺旗时停止,失败试验只能跑到预算耗尽(Figure 2),若预算无限则会进一步变大。有的模型–陷阱对几乎不增加工作,有的则使工作增加一倍以上。

    哪类陷阱影响大,以及是否上钩(Q3–Q4)

    • 按家族:Figure 4 对三个本地模型、按家族画相对干净条件的变化,n 为该家族实例数:goal_hijack n=4,exploration_bait n=3,time_sink n=3,false_authority n=1,false_validation n=3。作者称引导类家族主导夺旗损失:在 GPT-OSS 120B 上,goal hijack 与 exploration bait 去掉大约一半到三分之二的干净解(中位变化约 −50% 到 −65%)。false validation 居中;time sink 与 false authority 几乎不动结果,且 false authority 只有一个实例,作者称应谨慎阅读。三个模型在每个家族上的排序一致:GPT-OSS 120B 受影响最大,DeepSeek-V4 居中,Gemma-4 31B 在夺旗上几乎不动。轮次和 reasoning tokens 则几乎每个家族都上升,包括不改变解题率的家族和稳健的 Gemma。作者称“哪一类重要”取决于轴:成功看引导类陷阱,努力则普遍变差。
    • 单格:Figure 5a 中 Gemma-4 31B 在四个干净 5/5 的挑战上,14 个陷阱下几乎保持满分解题率。可见的 false-validation 错误页把干净 sqli-easy(约 10 轮、0.8k reasoning tokens)变成多 39 轮、多 5.5k tokens,作者称大约四倍交互、七倍推理,但仍是 5/5。权威提示类陷阱在 sqli-easy、sqli-simple 和 ssrf-medium 上大约多 7–10 轮。xxe-medium 干净只有 2/5,作者称该列格子基于很少的成功试验、由噪声主导:有一个陷阱看起来把解题率升到 3/5,若干努力格子明显为负(例如 −26 到 −31 轮),作者把这看成低且不稳的基线造成的假象,而不是陷阱的真实收益。Figure 5b 中 DeepSeek-V4 的 sqli-simple 在全部 14 个陷阱下保持 5/5;假 flag 格式把 sqli-easy 从 4/5 降到 2/5;xxe-medium 在几乎每个实例下下降,干净 5/5 在隐藏端点列表和可见 false-validation 页上降到 2/5。在干净基线 15 轮、2.3k reasoning tokens 上,可见 false-validation 页增加 42 轮和 10.7k tokens,三个 authority 陷阱各增加 22–34 轮。作者称让 Gemma 只花力气、不丢解的实例,会让 DeepSeek 两者都损失。
    • 上钩:Figure 6 把“上钩”定义为至少一次请求诱饵路由或 honeytoken。三个本地模型的上钩率为 39%–57%:DeepSeek-V4 最高(57%),Gemma-4 31B 最低(39%),GPT-OSS 120B 居中(47%)。接触后的解题率:DeepSeek 为接触 87%、不接触 85%;Gemma 为 70% 对 92%;GPT-OSS 为 28% 对 65%。GPT-OSS 在诱饵路由上的中位步数约为 14,另两个模型约为 4。中面板把 reasoning tokens 对齐到第一次诱饵请求(step 0):作者称 Gemma 与 DeepSeek 在接触时用量升高,分别接近每轮运行平均值的两倍和约 1.5 倍,随后回落;GPT-OSS 在接触当时反应较小,成本来自在许多步上停留。作者称稳健性更在于脱离诱饵,而不是避免接触。这些信号是暴露和参与的证据,不是“相信”的证据。人工检查认为 Gemma 与 DeepSeek 引导的智能体常常认出欺骗;作者称量化这一点需要自动解释会话记录,留待以后。

    其他消融与分析

    • 方法性提示:作者称只略微提高解题率,不改变陷阱效应结论;正文未给两种提示的对照数字。
    • 时限:15 分钟对部分模型过短;30 分钟下,除少数难题外很少因超时失败。200 轮上限也很少成为失败原因。
    • 工具调用数被定义为工作量指标之一,正文主图未单列其数值。
    • Gemma 的 xxe-medium 上出现解题率上升和大幅负的轮次差,作者归因为低基线噪声。
    • 四个基础设施导致的 GPT-5 格子只有 4 次而非 5 次试验。
    • 像素与混合原语未进入本次实验,作者将其列为后续工作。
  5. What are some points that can be further explored?

    作者把结论限制在固定 CTF 设置,并把自适应对手、像素陷阱和“是否相信陷阱”留到以后。

    作者指出的局限与后续方向

    • 设置边界(§3):主张限于 CTF 环境中的对抗工件是否改变智能体行为;模型、脚手架和上下文窗口的差异是实验证据,不是对所有智能体或所有安全工作流的一般主张。
    • 对手与提示(§3):自适应、会随智能体行为演化的攻击者,或被指示不信任环境的智能体,都会改变结果;作者把这些情况留待以后。
    • CTF 与真实工作(§2.2、§7):flag 是人工的,挑战是谜题而不是从生产系统抽取的;作者认为这对受控行为变化可以接受,并在结论中写这些结果来自受控 CTF,而不是生产安全分析。
    • 交付通道(§5.4):本次只做 DOM 可观察工件,以免把文本易感性与视觉能力混在一起;像素和混合原语留待以后。
    • 生成约束(§4.2):防路由冲突等检查并不证明挑战在语义上保持不变。
    • 信念与人工分析(§5.6、§6.4):遥测不能说明智能体是否相信陷阱;作者把对会话记录的自动解释和更深入分析留待以后。结论还写到可复现基准与原始轨迹供后续比较(§7)。

    实验覆盖范围

    • 干净阶段测了六个模型、11 个挑战、两种提示、每格五次,合计 605 次;默认提示 330 次中夺旗 136 次(§5.5、§6.1、Table 3)。
    • 陷阱阶段的完整因子只覆盖三个最强本地模型、七个挑战、14 个 DOM 实例和两种提示(2,940 次);正文只报告其中干净合计解题率最高的五个挑战,以及默认提示(Table 2、§5.5、§6)。
    • GPT-5 的陷阱网格是五个挑战、五个对本地解题率降幅最大的实例、仅默认提示,共 121 次,其中四个格子为四次试验(Table 2)。
    • 同一 OpenCode 定义固定系统提示、工具集和温度 0;论文写明各模型上下文与输出上限不同,且只有 GPT-OSS 120B 设置了 reasoning-effort=high(附录)。论文未报告工具调用数的分模型结果,也未报告评审模型或人工一致性,因为正确性由 flag 校验服务判定。
    • 讨论过并明确不做的范围包括:改模型、提示词、工具或运行时,以及直接提示或权重操纵、外部网络攻击、恶意软件、沙箱逃逸和对第三方的伤害(§3)。
  6. Summarize the main content of the paper

    AgentLSD 用配对 web CTF 表明,欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架,用来测量安全智能体在任务本身不变时,对对抗性任务污染的反应。

    • 问题:智能体检查的网页、日志和响应可由对手放置伪造 flag、误导提示、诱饵端点和隐藏线索。这与靠指令改向的提示注入重叠但不相同。作者要在漏洞、解题路径和 flag 校验不变时,看成功、工作量和行为如何变。
    • 做法:11 个自建 Flask web CTF 上,YAML 原语经确定性生成后,由中间件注入合格 HTML 或单独的诱饵路由。五个 intent 家族是 goal hijack、false authority、false validation、exploration bait 和 time sink。honeytoken 记录是否请求诱饵。智能体在 OpenCode 中、温度 0、30 分钟和 200 轮预算下解题,只有提交精确 flag 才算成功,且不被告知环境被污染。对手被设定为静态、非自适应、与模型无关。
    • 干净结果:默认提示下 330 次试验夺旗约 41%(136 次)。Table 3 中 GPT-5 为 32/55,Gemma-4 31B 为 28/55,DeepSeek-V4 Flash 为 24/55,GPT-OSS 120B 为 23/55,Qwen3-Coder-Next 为 15/55,Mistral Small 4 为 14/55。盲命令注入六个模型均为 0/5。作者称成功大约在 10–30 轮、1–3k reasoning tokens,失败中位数大约在 55–80 轮、5–15k tokens(Figure 2)。
    • 陷阱结果:仍夺旗时,作者汇总为多约 20 轮和约 2k reasoning tokens。解题率变化不均:Gemma-4 31B 几乎不丢解,但个别格子工作量大增(sqli-easy 上可见 false-validation 页 +39 轮、+5.5k tokens,仍 5/5);GPT-OSS 120B 在 goal hijack 与 exploration bait 上中位夺旗变化约 −50% 到 −65%。上钩率 39%–57%,GPT-OSS 接触后解题率从 65% 降到 28%,DeepSeek 为 87% 对 85%(Figure 6)。作者称能否脱离诱饵比是否接触更能区分脆弱性,并认为干净 CTF 成绩低估了对欺骗性任务证据的脆弱程度。
    • 作者的结论:这些发现把 adversarial task contamination 立为安全智能体的一类独立鲁棒性问题。作者同时把结论限制在固定、可解的 CTF、静态对手和 DOM 工件上,并计划以开源框架、配置、陷阱规格和原始轨迹支持后续比较。
Read originalarxiv.org