Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2603.20925· Shouqiao Wang, Marcello Politi, Samuele Marro, Davide Crapis·Indexed by this site · Originally published

Profit is the Red Team: Stress-Testing Agents in Strategic Economic Interactions

Profit is the Red Team: Stress-Testing Agents in Strategic Economic Interactions

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

利润驱动红队用标量收益优化对手：最后通牒中GPT-OSS-120B攻击方盈余从20.5升至65.00（Table 1）。

Threat model攻击者是同一竞技场中的对手玩家，对固定目标策略最大化自身期望回合利润。

Questions
智能体依赖可被对手塑造的外部输入。作者认为固定攻击清单低估自适应逐利压力，需要在结果可审计的环境里做压力测试。
Methods
利润驱动红队用 TAP 式黑盒搜索改写对手提示，只按环境返回的攻击方盈余保留候选，不用 LLM 评审或攻击标签。场景是四个两人经济博弈。高损害轨迹再蒸馏成前置给目标的提示规则。
Experiments and results
六个目标、优化后各条件20局。最后通牒攻击方盈余增量18.85至44.50（Table 1）。作者称最后通牒、双边贸易、供给点上硬化后目标均值为正；一价拍卖不再出现攻击方盈余达到25的局。
Limitations and future work
第7节把四个经济博弈视为初次实例，并提出扩展到可用经济价值计分的真实部署，以及用监督微调、强化学习或交替对抗更新智能体。对再优化的TAP攻击者只称多数设定下仍然表现强，少数情形还需额外轮次，未给数字。
Experimental setupGPT-OSS-120B、Qwen3-32B et al. · ultimatum bargaining、first-price auction et al. · attacker surplus、target surplus et al.
Threat model
攻击者是同一竞技场中的对手玩家，对固定目标策略最大化自身期望回合利润。搜索为 TAP 式 black-box 提示搜索，只靠环境返回的标量攻击方盈余选策略，不用 LLM 评审、攻击标签或攻击分类。对局内可发自由文本并采取结构化动作，看不到对方私有信息。受害系统是四个可审计两人经济博弈中的固定目标智能体。
Evaluated models
GPT-OSS-120BQwen3-32BMiniMax-M2.5GLM-4.6Kimi-K2GPT-5.2
Benchmarks
ultimatum bargainingfirst-price auctionbilateral tradeprovision-point game
Metrics
attacker surplustarget surplusΔsAΔsDone-sided p-value
AI summaryThe paper proposes profit-driven red teaming, replacing manual attacks with a learned adversary trained solely on scalar reward feedback, without LLM-as-judge scoring, attack labels, or attack classification. The authors validate in test environments composed of four types of typical economic interactions, finding that agents that perform well against static baselines remain consistently exploitable under profit optimization pressure, and the learned adversary discovers strategies such as probing, anchoring, and deceptive promises without explicit instructions. The authors then distill exploitation snippets into concise prompt rules, which eliminate most previously observed failures and significantly improve target performance.

The paper proposes profit-driven red teaming, replacing manual attacks with a learned adversary trained solely on scalar reward feedback, without LLM-as-judge scoring, attack labels, or attack classification. The authors validate in test environments composed of four types of typical economic interactions, finding that agents that perform well against static baselines remain consistently exploitable under profit optimization pressure, and the learned adversary discovers strategies such as probing, anchoring, and deceptive promises without explicit instructions. The authors then distill exploitation snippets into concise prompt rules, which eliminate most previously observed failures and significantly improve target performance.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者要度量逐利对手下的自适应可利用性，而不是只看固定攻击清单。

    核心问题是：固定攻击清单会不会低估自适应、逐利压力下，智能体在可审计结构化环境中的可利用性。

    • 场景：作者认为部署中的智能体依赖检索内容、工具输出、网页观察和其他行动者信息，行为跨多步展开。作者认为主要风险常常不是失败在已知测试提示上，而是逐利方学会塑造其有效环境。
    • 现有评测：作者认为强调提示注入和越狱的评测，对可被策略影响的设置是不完整代理。对手会试探、适应并机会主义地利用智能体暴露的信息；攻击性议价也属于可采纳策略。
    • 作者的假设：若环境合约明确且终局可审计，自适应压力就可以只靠标量结果迭代，而不需要攻击分类或转录标注。作者认为这覆盖经济互动，也覆盖对手能塑造观察且结果可计分的网页或编程任务。
    • 本文提出：profit-driven red teaming，即用自动化策略搜索训练逐利对手，选择信号只是实现的回合结果。四个博弈构成精简竞技场。暴露可利用行为的回合被蒸馏成目标侧提示规则。
    • 威胁模型：
      • 目标：攻击者是同一竞技场里的对手玩家，对固定目标策略 π 最大化期望回合利润。
      • 知识：TAP 式 black-box 提示搜索。作者称不使用攻击标签；排序信号是环境返回的攻击方盈余，不是 LLM 评审。
      • 能力：对局内可发自由文本并采取结构化动作，但看不到对方私有信息。用于改进对手的监督只有终端标量盈余。
      • 受害系统：四个重复两人经济博弈中的固定目标智能体；终局盈余由环境给出，可机器检验。

  2. What related research exists?

    相关工作覆盖智能体评测、经济博弈和自动化红队；作者称区别是只优化利润、不用评审。

    作者按部署式评测、经济竞技场、策略语言智能体，以及自动化红队和提示级防御来定位本文。

    部署式评测

    • Liu 等（2024）的 AgentBench、Zhou 等（2024）的 WebArena、Xie 等（2024）的 OSWorld 在交互、网页或计算机使用中做端到端评测，反馈可以延迟。Tur 等（2025）的 SafeArena 评测真实网页环境中自主网页智能体的故意误用。
    • 作者认为这些基准通常评测固定智能体和固定任务分布，没有把明确搜索自身利润的自适应对手操作化。作者称本文最接近这一视角，但增加了在固定合约下把互动推向不利实现结果的优化对手。

    经济与谈判竞技场

    • Abdelnabi 等（2024）用可评分谈判评测合作、竞争和对抗角色。Bianchi 等（2024）的 NegotiationArena 研究战术变化对利润的影响。Xia 等（2024）把议价写成不完全信息博弈并评测 LLM。
    • 作者认为这些工作提供带显式结果信号的任务和指标。协议差别是：本文不从固定对手池抽样，也不指定预定义对抗角色，而是只用标量结果反馈、直接针对目标优化对手。

    策略语言与博弈评测

    • Bakhtin 等（2022）在 Diplomacy 中结合语言与长程推理，说服、承诺和误导会出现。Duan 等（2024）的 GTBench 用竞争性博弈论任务评测策略推理。Conchello Vendrell 等（2026）的 GameTalk 用定义在整段对话上的奖励训练策略对话。
    • 作者称语言智能体可以用互动结果而不是提示级准确率来评测。作者称本文不是要衡量一般策略能力，也不是要训练策略表现更好的智能体，而是构造安全与鲁棒性压力测试。

    自动化红队与提示防御

    • Perez 等（2022）用语言模型生成对抗测试。AutoDAN（Liu 等，2024）和 TAP（Mehrotra 等，2024）用迭代黑盒搜索发现越狱。Ma 等（2023）把多轮红队做成博弈并演化红队种群。Casper 等（2023）强调许多红队流程依赖外部指定的失败度量。DataSentinel（Liu 等，2025）用博弈论表述研究自适应攻击下的提示注入防御；Liu 等（2025）研究在线自对弈强化学习。Feffer 等（2024）和 Lin 等（2024）强调红队目标异质，含糊目标会导致弱或误导性评测。
    • 作者认为本文借用自动化，但改变目标和监督：不优化违规标签、检测器分数、奖励模型判断或手工恶意性，而优化合约内的对手利润，从而去掉转录标注和 LLM 评审。
    • Wei 等（2023）的 In-Context Defense、Zhou 等（2024）的 In-Context Adversarial Game、Mo 等（2024）的 Prompt Adversarial Tuning、Zhou 等（2024）的 Robust Prompt Optimization 把攻击痕迹转成可复用防护提示。作者称本文不提出单独防御范式，这些工作用来对照对抗轨迹可蒸馏成简短提示规则这一结果。

    基线与环境

    • 基线是同一对手设定下、未经搜索的初始提示攻击者；对照是针对固定目标做 TAP 式搜索后的攻击者。环境是最后通牒议价、一价拍卖、双边贸易和供给点博弈，不是外部攻击基准。

    作者把本文定位成这几条线的组合：无评审、以对手为中心的压力测试，对手只用标量结果训练，用来度量自适应可利用性并产生硬化数据。

  3. How does the paper address this problem?

    用 TAP 式黑盒搜索最大化攻击方标量盈余，再把高损害轨迹蒸馏成目标侧提示规则。

    profit-driven red teaming 在合约明确、终局可打分的环境里改写对手提示，只保留攻击方盈余更高的候选；高损害轨迹再前置成目标侧规则。

    回合接口与四个博弈

    • 接口：环境设定公开参数并抽样私有信息。每方只看公开描述和自身私有信息。交替行动，一回合可发自由文本、采取结构化动作或两者都做。时限 T 最多 T 次交替回合。同意、到达 T 或一方退出即结束。含协议遵从失败的回合不进入分析；附录 A.3 另写最后通牒的无效报价会自动拒绝并记录。实验取 T=10。
    • 最后通牒：分割资源 R。附录 A.1 取 R=100，保留值 (cA, cB)=(30, 30)。接受的总效用分割非负且和为 R 时，盈余为份额减自身成本；否则双方为 0。
    • 拍卖与贸易：一价拍卖实验取价值 (30, 30)，各交一次非负密封出价，最高者支付己方出价，平局随机，败者盈余为 0。双边贸易实验取买方价值 80、卖方成本 40；接受则卖方为价格减成本、买方为价值减价格，否则双方为 0。
    • 供给点：实验取价值 (70, 70)、阈值 100。交互期间承诺额互不可见。和达到阈值则盈余为价值减承诺，否则退款且双方为 0。正文第 2 节把阈值记为 C、卖方成本记为 cA；实验数字以附录 A.1 为准。

    利润优化的对手

    • 目标：攻击者策略族为 Φ，固定目标为 π。优化写成 ϕ⋆∈argmaxϕ∈Φ𝔼[satt(ϕ,π)]，即最大化环境返回的期望攻击方盈余。
    • Algorithm 1：从初始提示池出发迭代。每个父提示变异出 L 个候选，每个候选打 K 局，按攻击方盈余均值保留前 M 个。作者称这保留 TAP 的分支与选择，但用攻击方盈余代替外部 LLM 评审。
    • 实验实现：对手模型固定为 openai/gpt-5.2。附录 A.2 给出 branching_factor=3、width=4、depth=5。论文未说明这三个名字与 L、M、I 的对应，也未给出 K 或初始池大小。
    • 提示：最小角色提示含规则、角色与私有价值、一行终局动作格式、最大化自身收益，以及不必透露私有信息的提醒。基线直接用该提示。搜索只改对话策略，保留同一终局格式。终局动作严格解析。

    从轨迹到提示规则

    • 筛选：最后通牒、双边贸易和供给点保留目标盈余为负、而外部选项为 0 的轨迹。一价拍卖保留攻击方盈余至少为 25 的轨迹。作者称在价值为 30 时，这表示攻击方获胜且支付很少。
    • 蒸馏：选中轨迹交给目标模型，概括反复错误并写成短笔记，前置到原目标提示，其余不变。作者称不更新参数。该智能体称为 hardened target agent。论文未写笔记条数。
    • 再测对象：硬化目标面对产生这些轨迹的同一攻击者。第 7 节另提到对重新优化攻击者的初步观察，但不是第 6 节的主对照。

    策略簇的归类方法

    • 收集 TAP 评测回合的攻击者消息及关键决策附近的短窗口，按语义相似度分组，再用一个 LLM 只贴短标签。论文未给出该 LLM 名称。
    • 脚注写：TF-IDF 向量化，t-SNE 投到二维，在二维嵌入上做 K-means。Figure 2 把片段画成点，并按事后簇标签着色。论文未报告簇数或各簇样本数。
    • 作者称归类用于解释更高收益从何而来，打分仍来自环境盈余。附录 B 称这些簇是优化后所选策略的行为分类，不全是攻击清单。

  4. What experiments did the paper conduct?

    最后通牒攻击方增量18.85–44.50；该博弈硬化后Table 2目标盈余由负转正。

    实验设置

    • 目标：六个模型，经 OpenRouter 调用。Table 3：GPT-OSS-120B（openai/gpt-oss-120b:nitro）、Qwen3-32B（qwen/qwen3-32b:nitro）、Kimi-K2（moonshotai/kimi-k2-0905:nitro）、MiniMax-M2.5（minimax/minimax-m2.5:nitro）、GLM-4.6（z-ai/glm-4.6:nitro）、GPT-5.2（openai/gpt-5.2）。
    • 对手：所有目标上固定为 openai/gpt-5.2。GPT-5.2 作目标时，对手与目标是同一模型标识、不同提示。目标策略固定。基线用初始提示，红队攻击者来自 TAP 式搜索。
    • 局数：第 4 节写优化后两种攻击者各对同一目标评 20 个独立 episode。Table 4 未重复该局数。论文未报告搜索阶段的 K、查询次数或重复优化次数。
    • 指标：攻击方均值盈余与 ΔsA；硬化实验为目标盈余 sD 与 ΔsD。表注给出 95% CI，以及高于对照的单侧 p 值。盈余由环境计算，不用 LLM 评审判定。
    • 硬化：笔记由目标模型概括后前置到原提示，主对照是生成轨迹的同一攻击者。论文未报告 Table 2 与 Figure 3 的 episode 数。
    • 排除：第 2 节排除含协议遵从失败的回合。论文未报告排除比例。

    主结果

    最后通牒，R=100，保留值 (30, 30)，据 Table 1。表注称 95% CI 针对 ΔsA，但区间与红队后 sA 一致、与 ΔsA 不一致，下表不列 CI。

    Swipe horizontally to read the table

    目标模型基线 sA红队后 sAΔsA单侧 p
    GPT-OSS-120B20.565.00+44.509.5 × 10−30
    Qwen3-32B21.064.45+43.453.3 × 10−24
    MiniMax-M2.521.557.85+36.355.3 × 10−23
    GLM-4.622.055.25+33.257.3 × 10−13
    Kimi-K221.2542.40+21.152.5 × 10−24
    GPT-5.2（与对手同模型）20.2539.10+18.855.7 × 10−3
    • 作者称六模型增益从 18.85 到 44.50；因目标固定，差异来自攻击者策略搜索，而不是目标行为改变。作者称对每个目标效应都大。
    • 作者称接受报价满足双方盈余之和为 40，因为资源为 100、保留值之和为 60；sA>40 的接受结果必然使目标盈余为负，拒绝则得到 0。Table 1 中 GPT-5.2 的红队后均值 39.10 并不大于 40。
    • Figure 1 图注称四个博弈里优化后攻击者盈余都高于基线。文本转换看不到柱高。Table 1 与 Table 4 每一行 ΔsA 都带正号。

    另外三个博弈

    据 Table 4。单元格为红队后攻击方均值，括号内为 ΔsA。CI 与红队后均值对齐，此处不列。

    Swipe horizontally to read the table

    目标一价拍卖双边贸易供给点
    GPT-OSS-120B29.15（+16.95）60.26（+31.15）70.00（+55.50）
    Qwen3-32B20.49（+6.00）48.75（+23.10）45.50（+24.50）
    MiniMax-M2.524.05（+17.25）48.50（+23.95）39.00（+21.75）
    GLM-4.627.60（+18.45）45.25（+20.45）37.75（+21.75）
    Kimi-K227.35（+22.90）40.50（+20.82）30.00（+10.25）
    GPT-5.2（同模型）16.80（+9.18）36.75（+18.90）31.30（+14.80）
    • 一价拍卖双方价值为 30。作者称盈余高于 25 意味着获胜且支付低于 5。Table 4 红队后均值高于 25 的是 GPT-OSS-120B 29.15、GLM-4.6 27.60、Kimi-K2 27.35；Qwen3-32B 为 20.49，MiniMax-M2.5 为 24.05，GPT-5.2 为 16.80。
    • 据 Table 4，供给点 ΔsA 最大的一行是 GPT-OSS-120B 的 +55.50，最小的是 Kimi-K2 的 +10.25。一价拍卖 ΔsA 最小的一行是 Qwen3-32B 的 +6.00。
    • 作者称在最后通牒、双边贸易和供给点中，更高的攻击方盈余常常伴随目标结果差于保底；一价拍卖不以负盈余为自然基准。Figure 1 未给出目标侧数字。

    攻击蒸馏后的目标盈余

    Table 2 为最后通牒。其 95% CI 与 ΔsD 对齐。

    Swipe horizontally to read the table

    目标硬化前 sD硬化后 sDΔsD95% CI单侧 p
    GPT-OSS-120B-25.007.00+32.00[29.40, 34.60]5.2 × 10−16
    Qwen3-32B-24.455.00+29.45[29.45, 29.45]1.7 × 10−298
    Kimi-K2-2.405.70+8.10[6.13, 10.07]7.6 × 10−8
    MiniMax-M2.5-17.851.55+19.40[19.10, 19.70]1.5 × 10−29
    GLM-4.6-15.254.10+19.35[18.63, 20.07]2.6 × 10−22
    GPT-5.2-13.109.30+22.40[20.78, 24.02]5.7 × 10−17
    • 作者称，面对原来的固定攻击者，蒸馏后目标结果改善。Table 2 六行都是硬化前为负、硬化后为正。该表 ΔsD 从 Kimi-K2 的 +8.10 到 GPT-OSS-120B 的 +32.00。
    • 作者称双边贸易和供给点上，硬化后平均目标盈余上升并变为正。Figure 3 图注只说汇总了四博弈和各目标；文本转换看不到柱高，正文未给出这三博弈的逐模型数字。
    • 一价拍卖：作者称硬化后不再观察到攻击方盈余达到 25 或以上的回合。论文未报告硬化后的攻击方均值。

    学习到的互动模式

    • 作者称对手在未被明确指示时出现试探、锚定和欺骗性承诺。正文四例标签是技术混淆欺骗、权威冒充加惩罚威胁、提示注入覆盖、协议锁定框架。附录 B 给出完整消息，此处不复述。
    • 作者称对手并不主要以越狱式或提示注入式提示为策略，而反复使用紧迫性、协议框架和看似合理的约束；有时引导目标做出规则下被占优、效用为负的选择。作者认为传统安全评测可能把这类消息看成良性，但结果仍变差；对抗由结果定义，不由表面形式定义。
    • 附录 B 簇名：最后通牒为 Protocol Spoofing + Instruction Hijack、Authority Impersonation + Evaluation Pressure、Anchoring + Limited Choice、Technical Confusion Deception、Default Bias Exploitation、Fairness Appeal；拍卖为 Deceptive Coordination + Anchoring、Authority Impersonation + Threat of Penalty、Authority Impersonation + Prompt Injection；双边贸易为 Anchoring + Urgency Pressure、Reservation Price Probing、Authority Impersonation + Threat of Penalty、Assumptive Close Framing、Prompt Injection Override、Reciprocal Concession Bargaining；供给点为 Prompt Injection、Hard Cap Anchoring、Protocol Lock-In Framing、Authority Impersonation、Threat of Penalty、Legitimate Negotiation。作者称有的簇利用性强，有的是普通谈判。Figure 2 只说明点按事后标签着色，文本转换看不到簇是否分开。

    其他消融与分析

    • 论文未报告分支因子、宽度、深度或笔记条数的消融；TAP 只给出 branching_factor=3、width=4、depth=5 这一组。
    • 第 7 节称初步证据是：硬化目标在多数设定下对重新优化的 TAP 攻击者仍然表现强，少数情形还需额外交替训练轮次。未给模型、局数或盈余。
    • Table 1 与 Table 4 的 95% CI 列与红队后 sA 对齐，与表注所称的 ΔsA 不一致；Table 2 的 CI 与 ΔsD 对齐。
    • Table 4 中较大的单侧 p 值包括一价拍卖 Qwen3-32B 的 2.3 × 10−2，以及供给点 Kimi-K2 的 1.2 × 10−2。论文未设显著性阈值。

  5. What are some points that can be further explored?

    作者把经济博弈视为初次实例，并提议用微调、强化学习或交替对抗来更新智能体。

    作者指出的局限与后续方向

    • 初次实例：第 7 节称这些经济博弈应视为框架的初次实例，而不是概念边界。下一步是更现实的智能体部署。作者举例包括网页智能体被诱导转移资金或购买不必要服务、编程智能体被诱导消耗资源或暴露信息、工具型智能体被引导触发高成本 API 或泄露秘密。作者称这些结果往往仍可用经济价值打分，从而沿用同一自适应循环。
    • 直接训练：第 7 节提出不只依赖高损害轨迹上的规则硬化，而用监督微调或强化学习更新智能体，使其拒绝操纵和高风险请求，并在策略互动中做出更好的利润最大化决策。
    • 交替更新：第 7 节提出每一轮用当前对手生成的互动数据改进智能体，再针对更新后的智能体重新优化对手，并在新攻击下重新度量可利用性。
    • 再优化后的残余：第 7 节称初步证据是，硬化目标在多数设定下对重新优化的 TAP 攻击者仍然表现强，但少数情形仍需要额外的交替训练轮次。

    实验覆盖范围

    • 目标为 Table 3 的六个模型；对手在全部目标上固定为 openai/gpt-5.2（附录 A.2）。四个博弈的参数和 T=10 见附录 A.1。
    • 第 4 节在优化后对基线攻击者与红队攻击者各评 20 个独立 episode。Table 1 与 Table 4 报告攻击方均值、ΔsA、95% CI 和单侧 p 值。
    • 硬化把筛选轨迹交给目标模型写成笔记并前置到原提示，主结果面对的是生成轨迹的同一攻击者；最后通牒的逐模型目标盈余见 Table 2。
    • 第 5 节用 TF-IDF、t-SNE 和二维 K-means 归类攻击者消息，并由未具名 LLM 贴标签；附录 B 列出簇名并给出消息示例。
    • 第 2 节排除协议遵从失败的回合。论文未报告排除比例、Algorithm 1 的 K、初始池大小、搜索查询次数、优化重复次数、Table 2 的 episode 数，以及再优化攻击实验的数字结果。

  6. Summarize the main content of the paper

    利润驱动红队以标量盈余训练对手，六个目标在四博弈中被利用，提示规则可抬高目标盈余。

    利润驱动红队把可审计终局里的智能体安全写成对手搜索问题：固定目标会不会被一个只追逐自身盈余的自适应玩家利用。

    • 问题：作者关心的不是能否通过固定提示清单，而是当对话或观察可被策略塑造、终局又可打分时，逐利压力能把结果推到多差。测试台是四个两人经济博弈。
    • 协议：目标策略固定。对手提示沿用 TAP 的分支与保留，但按攻击方平均盈余排序，不用 LLM 评审。实验对手固定为 openai/gpt-5.2，TAP 参数为 branching_factor=3、width=4、depth=5。高损害轨迹由目标模型写成笔记，前置到原提示，不更新权重。
    • 攻击方：最后通牒六模型的 ΔsA 为 +18.85 到 +44.50（Table 1），红队后均值从 GPT-5.2 的 39.10 到 GPT-OSS-120B 的 65.00。Table 4 中供给点 GPT-OSS-120B 为 70.00（+55.50）；一价拍卖 Qwen3-32B 为 20.49（+6.00）。优化后评测为每条件 20 局。
    • 硬化：据 Table 2，最后通牒六行的目标均值都由负变为正，ΔsD 从 Kimi-K2 的 +8.10 到 GPT-OSS-120B 的 +32.00（-25.00 到 7.00）。作者称双边贸易和供给点上平均目标盈余也变为正；一价拍卖硬化后不再出现攻击方盈余达到 25 的局。主对照是原来的固定攻击者。
    • 作者结论：作者认为固定攻击集本身会低估自适应对手能造成的损害。同一批轨迹既可以度量可利用性，也可以写回目标提示。对重新优化的 TAP 攻击者，作者只给出无数字的初步观察：多数设定下硬化目标仍然表现强，少数情形还需交替训练。
Read originalarxiv.org