SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

如何度量金融 LLM 交易智能体在正常市场中保持稳定、在对抗条件下保持韧性，并在设计防御之前先摸清其攻击面。

• 场景与重要性：作者称这类智能体已管理真实资金并服务零售用户，动作在金融上不可逆，且一个智能体的输出会立刻成为另一个的输入。作者引用英格兰银行公开警告、Wolters Kluwer 调查（72% 的美国银行缺少 AI 模型紧急停止开关或故障报告规程），以及美国众议院金融服务委员会民主党人向 SEC 主席提出的 13 个问题。作者认为，攻陷哪怕一小部分已部署智能体，就可能通过低流动性股票上的小扰动诱发类似 2010 年闪崩的级联。
• 现有工作的不足：作者称近期智能体安全综述 [1–3] 刻意保持领域无关，其单会话威胁模型写不出“一支被攻陷的智能体队伍可以动摇整个市场”。通用提示注入与越狱分类也不覆盖作者归纳的五类特征组合：Instant、Inconspicuous、Unverified、Adaptive、Cascading。
• 核心观察：作者认为稳健性本身就是安全问题。在反身、零和的市场里，处理不好自然冲击的智能体可被攻击者以很低成本推入级联，因此两类失败不能分开评估。
• 威胁模型：
  • S1：智能体持续摄入新闻、情绪与社交媒体等市场信息，且缺少强源认证、来源校验或跨源一致性检查。攻击者不能访问或修改内部提示与模型参数，但可伪造、延迟或选择性操纵上游信息，从而间接左右交易。
  • S2：智能体处于接受外部输入的交互或 API 环境，系统提示、用户提示、工具权限与持久记忆之间没有严格隔离。攻击者可发送精心构造的提示或载荷，目标是颠覆决策逻辑、诱发未授权金融动作，或植入跨会话持续的恶意上下文。细分为 S2.1 提示注入与指令覆盖、S2.2 工具与 API 利用、S2.3 记忆或上下文操纵。
  • S3：一个或多个智能体已经 S1 或 S2 被攻陷，仍在其他智能体信任其输出的多智能体或市场模拟环境中运行。攻击者完全控制这些智能体，目标是放大系统性波动、触发协同抛售或类闪崩，或利用由此出现的套利缺口。
  • 稳健性轴：R1–R4 评的是闪崩、黑天鹅一类冲击下，智能体是否放大不稳定，而不是市场价格波动本身。受害对象是已发表的学术交易方案（方案级，不是运行中的实例）。
• 本文提出什么：作者提出 FARSIGHT，一种方案级 SoK 评测方法（作者强调不是带固定数据集和自动测试架的基准套件），用可复现 codebook 在稳健性与安全两条轴上给 15 个代表性学术方案打分。作者称据其所知，这是把市场稳健性与安全一并系统化到学术交易智能体文献上的工作。

• 通用智能体安全 SoK：作者讨论 [1–3]，称它们在领域无关层面映射攻击与防御，因而把一次事件在财务或物理上不可逆的高风险应用留在安全文献之外。作者称 FARSIGHT 不重推一套通用分类，而是把执行权、系统性反身性与零和对抗市场操作化，并补上通用 SoK 中没有直接对应物的稳健性轴。
• 相邻安全 SoK 与商业智能体：作者将本文对齐到既有安全 SoK 传统，并以 ML 安全 SoK [29] 为例，说明可系统化来自相邻、非安全社区的攻击面。最近的是关于自主 LLM 智能体在智能体商务中安全的同期 SoK [54]；作者称它系统化支付、协商与交易风险（含市场操纵），但停在协议与图景层，而不是具体交易智能体。
• 金融 LLM 智能体与生态文献：Ding 等 [5] 把金融 LLM 智能体定义为用 LLM 推理做市场预测、组合优化与风险评估的自主系统。筛选后保留作背景的 25 篇包括综述与 SoK [2, 3, 5, 42, 43, 67–69]、基准与评测套件 [17, 70–73]、可控市场模拟环境 [74–76]，以及领域红队与架构层防护的威胁/防御分析 [77, 78]。作者还对照法律 [82, 83]、医疗 [84, 85] 与教育 [86] 智能体：这些领域的风险通常来自指令遵循错误、幻觉推理或与领域约束错位，作者称它们都不涉及实时市场微观结构或交易智能体所处的反身、对延迟敏感的执行环。
• 基线方法与评测对象：本文没有把既有攻击器当作实验基线。评测对象是 Table 1 的 15 个方案，作者按六类架构组织：单智能体记忆与人设（TradingGPT、FinMem）、分析师与基本面（MarketSenseAI 及 2.0、FinCon）、事件驱动与多模态（StockAgent、FinAgent）、平台与 alpha 发现（FinRobot、Alpha-GPT 2.0）、低延迟与专家融合（QuantAgent、TradExpert）、多智能体协作（TradingAgents、FLAG-Trader、ContestTrade、TradingGroup）。Table 2 引用既有越狱基准 DAN、HarmNet、GRAF、CNSafe-RT 上的基座 ASR，用作上界风险指示，作者明确这不是智能体级利用率。方法上，流程受 Akanda 等 [51] 的 SoK 方法与 PRISMA [66] 启发；作者称不同于 LangChain、AutoGPT、ReAct 一类实现工具包，也不同于 AgentDojo [52]、StockBench [53] 一类基准任务。

作者把本文定位为：在学术交易智能体文献上，把 R1–R4 与金融特定的 S1、S3 配成可复现的逐智能体 codebook，给出的是逐方案评级而不是景观综述；并称据其所知是把市场稳健性轴与安全轴配对的工作。

作者用 FARSIGHT 对已发表设计做方案级评分：先按 PRISMA 筛出可评交易方案，再用确定性清单给四项稳健性与三项安全（S2 再拆三项）赋值，并由两名评审独立完成。

问题设定与文献筛选

• 评测单位：每个系统按论文中的设计评分，不是运行实例。作者给出的理由是架构、数据源与部署情境差异大，单一标准化基准不足以覆盖稳健性与安全。
• 纳入：检索 2023–2026 年关键词（financial LLM agents、LLM trading agents、LLM autonomous trading、LLM financial decision-making），范围包括 USENIX Security、NDSS、CCS、IEEE S&P、NeurIPS、ICML 与 arXiv，并做前后向引文滚雪球。识别阶段得到 127 篇候选。
• 筛选与资格：两名评审独立按标题与摘要筛。纳入要求具体金融 LLM 智能体系统、面向市场的任务、英文且发表或预印于 2023 年 1 月至 2026 年 3 月。排除只顺带提到 LLM、只做通用 LLM 安全、或无系统贡献的综述/社论/立场文。87 篇被排除，40 篇进入全文。再要求架构足以套用指标（G1），且至少有一种自主或半自主决策而不是纯静态预测（G2）。25 篇不满足 G2，留作第 4.2 节背景；15 篇构成最终评测集（Table 1）。

稳健性指标 R1–R4

• 定义边界：稳健性指突然、极端市场扰动（如闪崩、黑天鹅）下保持稳定、安全、理性。作者注明价格修正本身不是评测目标，评的是智能体放大的不稳定。
• 四项：R1 是否能提前识别异常信号（文中举例 VIX 飙升、相关资产下跌、情绪转变）。R2 冲击期间能否在检测到冲击后的毫秒级暂时停止风险订单、冻结交易或切到安全模式。R3 是否有自动止损、敞口上限与冷却间隔。R4 能否在不利事件后再平衡参数、用更新数据重训或自适应再校准。
• 赋值：每项用基于证据的清单和确定性规则，而不是主观判断。赋值方法与两名独立评审的评分者间一致性在附录 A；评分标准在附录 B 的 Table 8。

安全指标与威胁流

• S1：看是否依赖可信、交叉验证的信息源，以及是否检测或过滤不可靠输入；特别看新闻真实性校验、多源聚合，还是直接消费社交媒体这类作者称为最易被协同虚假信息利用的渠道。
• S2：看是否强制提示隔离、输入清洗、工具沙箱、API 权限边界与记忆完整性。攻击流是把对抗载荷混入看似良性的内容，处理后可能覆盖交易约束、触发非预期工具或 API 调用，或污染长期记忆。
• S3：被攻陷智能体作为主动对手，可散布虚假信号、与其他受控智能体协调有害交易，或操纵流动性与波动。评测是否能检测恶意协同、隔离被攻陷智能体并遏制级联。
• 五特征：附录 D 与 Figure 4 将金融智能体与法律、医疗、教育对照，归纳 Instant、Inconspicuous、Unverified、Adaptive、Cascading。Figure 1 把 S1 画成对信息源的间接影响，S2 为对智能体的直接攻击，S3 为被影响后向市场注入小扰动并经其他参与者放大。

评分等级与 LLM 对照

• 三级：Table 3 使用 ●（Fully Robust / Low Risk）、◆（Partially Robust / Medium Risk）、❍（Not Robust / High Risk）。部分与低风险分的逐方案理由在附录 C。
• 对照流程：附录 F 用 ChatGPT Deep Research，输入 R1–R4 与 S1–S3 的定义和范围，将检索限制在 2023–2026 年学术论文，并要求结构化摘要。该输出再与人工评测比较，用来看黑盒 LLM 能否代替专家做细粒度打分。附录 A 给出两名人类评审的一致性；具体系数若在正文表格中未以可对齐数字出现，此处不另填。

实验设置

• 对象：Table 1 的 15 个方案：TradingGPT、FinMem、MarketSenseAI、FinCon、StockAgent、FinAgent、FinRobot、Alpha-GPT 2.0、QuantAgent、TradExpert、TradingAgents、FLAG-Trader、ContestTrade、TradingGroup、MarketSenseAI 2.0。评分单位是已发表方案，不是在线对抗实验。
• 骨干模型：Figure 3 统计这 15 个方案的骨干。作者称 GPT-4 家族（GPT-4、GPT-4o、GPT-4o-mini）是其中 12 个的骨干，仅 GPT-4 支撑 10 个；少数较旧骨干包括 GPT-3.5 与 GPT-2。两个方案使用开源权重骨干（GPT-2 与 DeepSeek-V3），其余 13 个依赖闭源商业 API。多模型实现时作者取该系统内最强、最新的模型。
• 指标：R1–R4 与 S1、S2.1、S2.2、S2.3、S3，三级符号见 Table 3。另报延迟来源计数（Table 4）和与传统交易风格的延迟对比（Table 5）。
• 评审：两名评审独立筛选与阅读。安全与稳健性按附录 B 的 codebook 与证据清单赋值。LLM 对照使用 ChatGPT Deep Research，子样本为 FinMem、TradingAgents、FinCon、QuantAgent、FLAG-Trader。
• Table 2 的角色：骨干越狱 ASR 来自既有基准，作者称反映的是基座模型在通用越狱基准上的易感性，不是智能体专用利用率，并当作上界风险指示。GPT-2 因过时未列入近期基准。
• 延迟测量：TradingAgents 的 >240 s 是作者对其开源版本在最快配置（最小支持骨干、最短 chain-of-thought）下五次端到端运行观察到的中位墙钟延迟，作者称因此是下界；表中标记为 [E]（由架构估计/观察），传统交易延迟标记为 [R]（引自文献）。

主结果

Table 3 的符号：● 充分稳健/低风险，◆ 部分稳健/中风险，❍ 不稳健/高风险。

Swipe horizontally to read the table

方案	R1	R2	R3	R4	S1	S2.1	S2.2	S2.3	S3
TradingGPT	❍	❍	❍	❍	❍	❍	◆	❍	❍
FinMem	◆	❍	◆	◆	❍	❍	◆	❍	❍
MarketSenseAI	❍	❍	❍	❍	❍	◆	●	●	◆
FinCon	❍	❍	❍	❍	❍	◆	◆	◆	◆
StockAgent	❍	❍	❍	❍	◆	◆	◆	◆	❍
FinAgent	❍	❍	❍	◆	❍	◆	◆	◆	◆
FinRobot	❍	❍	❍	❍	◆	◆	◆	◆	●
Alpha-GPT 2.0	◆	❍	◆	◆	◆	●	●	◆	●
QuantAgent	◆	◆	◆	◆	◆	◆	◆	◆	❍
TradExpert	❍	❍	❍	❍	❍	◆	◆	●	◆
TradingAgents	◆	◆	◆	◆	◆	◆	◆	◆	❍
FLAG-Trader	❍	❍	❍	❍	◆	◆	◆	◆	◆
ContestTrade	❍	❍	◆	◆	◆	◆	◆	◆	◆
TradingGroup	◆	◆	◆	◆	◆	◆	◆	❍	❍
MarketSenseAI 2.0	❍	❍	❍	❍	❍	◆	●	●	◆

• 总体：作者称 15 个系统中 80% 至少有一项核心稳健性指标失败，100% 至少表现出一项安全弱点。作者称没有一个被评智能体达到充分稳健；部分稳健从 R1 到 R4 略增，作者解读为对适应有一定注意，但缺少波动感知控制或熔断一类主动机制。
• 相对较好者：作者称 QuantAgent 因内置风险监测与自我改进，稳健性轮廓最强（R1–R4 均为 ◆，R2 上仅它与 TradingAgents、TradingGroup 为 ◆）。Alpha-GPT 2.0 因人工监督与受限 API，安全最高（S2.1、S2.2、S3 为 ●）。TradingAgents 被作者称为最均衡，并写明 GitHub star 超过 24.6k；其 R1–R4 均为 ◆，S3 仍为 ❍。
• 高风险簇：S1 为 ❍ 的是 TradingGPT、FinMem、MarketSenseAI、FinCon、FinAgent、TradExpert、MarketSenseAI 2.0。S3 为 ❍ 的是 TradingGPT、FinMem、StockAgent、QuantAgent、TradingAgents、TradingGroup。S2.2 为 ● 的是 MarketSenseAI、Alpha-GPT 2.0、MarketSenseAI 2.0；S2.3 为 ● 的是 MarketSenseAI、TradExpert、MarketSenseAI 2.0。

稳健性分项与延迟

• R1–R4：作者称 5 个方案在 R1 上为部分分，且都依赖定性或反应式机制。R2 上仅 QuantAgent、TradingAgents、TradingGroup 部分涉及快速反应，作者称没有系统实现快速中断、安全模式流水线或硬件级降延迟。R3 有 6 个方案为部分分，作者称没有一个把遏制做成确定性执行。R4 部分分最多，有 7 个方案表现出自适应学习或反思，作者称它们靠持续学习而不是由崩溃触发的恢复。
• 延迟：Table 4 中，15/15 有 LLM 推理延迟与 I/O 及 API 延迟，10/15 另有多智能体通信开销。Table 5：HFT <0.0001 s、算法交易 <0.1 s、日内约 1 s、日线/波段约 10 s（均引自文献），TradingAgents >240 s。作者列出三类后果：价格过时、止损失败、滑点与执行漂移。
• 作者解读：作者称当前方案把风险控制当作概念，很少作为硬限制执行；适应是逐渐积累经验，而不是针对某一次崩溃做恢复。

安全分项与 LLM–人工对照

• S1–S3：作者称几乎所有系统对错误信息、提示操纵与妥协传播暴露高，没有一个具备端到端验证、隔离或妥协后遏制。记忆高风险组为 TradingGPT、FinMem、TradingGroup。作者称 FinRobot 与 Alpha-GPT 2.0 在 S3 上相对低风险，因为设计上排除实盘执行或外部交易连接；StockAgent 在模拟中交易，但共享订单簿且无隔离，故 S3 仍为高风险。
• LLM 对照：对 5 个方案、共 45 个指标格，ChatGPT Deep Research 与人工专家在 24 格上不一致，不一致率 53.3%（一致率 46.7%）。附录中的文献分析称该模型标出 8 篇“金融 LLM 智能体”候选，其中 5 篇（FinMem、FinCon、QuantAgent、TradingAgents、FLAG-Trader）真正相关。作者称对已经知道的攻击，LLM 评测高度准确；对本文新提出的攻击类型，质量下降，若干情况下错误率最高达 100%。
• Table 2：GPT-4 在 DAN 上 ASR 95%；GPT-4o 在 HarmNet 上 94.8%；GPT-4o-mini 在 GRAF 上 95.0%；GPT-3.5-Turbo 在 DAN 上 95%；DeepSeek-V3 在 CNSafe-RT 上 up to 100%。作者认为 GPT-2 缺少对齐与防御调优，可能会接近完全易感，此句是作者推测，不是表内数字。

其他消融与分析

• 本文没有参数消融。Table 1 记录输入、输出、机制与是否公开代码：FinMem、FinCon、StockAgent、FinRobot、QuantAgent、TradingAgents、ContestTrade 标为有代码，其余标为无。
• 作者对 Table 1 的三点归纳：多数系统摄入新闻、基本面与价格并输出带自然语言理由的交易；模块化多智能体与反思记忆占主导；针对 SEC 文件的 RAG 越来越多地塑造推理。
• 负面结果：R2 没有任何 ●；S2.1 仅 Alpha-GPT 2.0 为 ●；QuantAgent 在稳健性上相对最好，但 S3 仍为 ❍。作者称从 S1 到 S3 高风险评级比例略降，并认为这一表面改善会误导，因为提示注入、数据投毒与工具误用仍未被处理。

作者指出的局限与后续方向

• 方案级而非运行实例：第 3 节写明 FARSIGHT 给已发表论文中的设计打分，不是运行实例，也不是带固定数据集和自动测试架的基准套件。部署后的行为可以与论文描述不同，这一点是该方法的边界。
• 基座 ASR 与智能体可利用性：第 4.2 节写明 Table 2 是通用越狱基准上的基座易感性，系统提示、工具约束、输出过滤与多智能体校验可能降低有效 ASR；作者把这些数字当作上界，并写明基座 ASR 与实际智能体级可利用性之间的差距仍是开放研究问题。
• LLM 评审不能单独承担新威胁：第 5.3 节称，对本文新提出的攻击类型，模型评测质量下降，若干情况下错误率最高达 100%，因此不能只依赖黑盒 LLM 评估新兴或未见威胁类。附录的文献分析亦称 LLM 综述在深度推理、细粒度分析与证据级核对上仍不如人工。
• 设计建议而非已验证防御：作者在贡献与第 5.4 节提出交叉验证信息、预先承诺的风险与执行边界、对被攻陷智能体的显式遏制，以及认证数据源、推理沙箱、受限工具权限和多层异常检测。这些是建议，论文没有报告对它们做自适应攻击或效用代价测试。
• 作者的定位：引言写明本文是 SoK，目的是在设计防御之前澄清问题并映射攻击面。

实验覆盖范围

• 最终评测集为满足 G1 与 G2 的 15 篇，时间窗为 2023 年 1 月至 2026 年 3 月的英文论文或预印本；识别 127 篇，摘要筛选后余 40 篇，其中 25 篇仅作背景（第 4.1 节）。
• 评分覆盖 Table 3 的九项（R1–R4、S1、S2.1、S2.2、S2.3、S3），等级为 ●/◆/❍；部分分与低风险分的理由在附录 C，标准在附录 B Table 8。
• 延迟统计为 15 个方案的来源计数（Table 4），以及 Table 5 中四类传统交易延迟（引自文献）与 TradingAgents 五次运行的中位延迟。
• LLM 对照子样本为 5 个方案、45 个指标格（第 5.3 节）；Table 2 的 ASR 分别对应 DAN、HarmNet、GRAF、CNSafe-RT 上的命名骨干，不是这 15 个交易方案上的攻击实验。
• 论文未报告对 15 个方案实施实时市场操纵或提示注入后的交易损益，也未报告防御上线后的效用下降、延迟增量或误拒率。

FARSIGHT 是对学术金融 LLM 交易方案的方案级 SoK：在设计防御之前，同时给市场冲击下的稳健性和三类安全威胁打分。

• 问题：作者认为通用智能体安全分类写不出金融场景的组合——即时、不显眼、输入未经验证、跨通道自适应，以及可在反身市场中级联。一个拥有执行权的智能体，无论是误判自然冲击还是被对抗输入推动，都可能把亏损放大成市场范围的崩塌。
• 做法：按 PRISMA 从 127 篇筛到 15 个可评方案。稳健性为 R1 预见、R2 快速反应、R3 止损遏制、R4 灾后恢复；安全为 S1 信息源、S2 提示/工具/记忆、S3 智能体充当攻击者。两名评审用附录 codebook 按证据清单打 ●、◆ 或 ❍。另用 ChatGPT Deep Research 在 5 个方案上对照。
• 结果：作者报告 80% 的方案至少一项稳健性失败，100% 至少有一项安全弱点，且没有方案在 R1–R4 上全部达到充分稳健。QuantAgent 的 R1–R4 均为部分稳健，但是 S3 高风险；Alpha-GPT 2.0 在 S2.1、S2.2 与 S3 上为低风险，R2 仍为不稳健。TradingAgents 在最快配置的五次运行中中位延迟超过 240 秒，而表中引用的 HFT 为小于 0.0001 秒。15/15 方案有推理延迟和 I/O 延迟。LLM 与人工在 45 个指标格上不一致 24 格（53.3%）。Table 2 中若干骨干在既有越狱基准上的 ASR 为 94.8% 至 95%，DeepSeek-V3 在 CNSafe-RT 上 up to 100%；作者称这是上界，不是智能体利用率。
• 作者结论：数据、工具和记忆必须在模型之外当作攻击面来约束；稳健性与安全在反身、零和市场里分不开。作者认为安全要靠交叉验证的信息、预先承诺的风险与执行边界，以及对被攻陷智能体的显式遏制。作者同时认为，细粒度打分仍需要人类专业知识。