Jev 兼容多智能体交易系统：网络新闻滞后市场时，是跟踪还是跟随？

核心问题： LLM 对 Web 新闻的判断是跟踪（track）市场对其报道事件的反应，还是仅仅跟随（follow）新闻发布前已发生的价格变动？

• 问题场景与重要性： Web 新闻常在价格变动之后发布，读者可能通过跟随变动而非理解事件来与市场达成一致。作者认为这导致现有评估无法区分读者是真正理解事件还是仅复述市场反应。
• 现有方法不足： 先前测试要么用金标准标签评分，要么前瞻性收集预测，未区分判断与新闻发布的时间关系，也未控制模型训练数据中的记忆（recall）和新闻本身报道价格变动的混杂因素。
• 核心观察： 许多 Web 新闻（尤其是 contributor 撰写的）在发行人备案（8-K filing）之后发布，且常报道已发生的价格变动；从发布后首次交易开始测量，关联性大幅下降。
• 论文贡献： 提出一个多智能体交易系统，智能体仅共享单写者时点存储并通过 Jev 类型化接口回答封闭式问题；代码在证明的影响界限下设置仓位；通过哈希承诺的预注册协议，测试读者判断与公告窗异常收益及 8-K 备案的一致性。
• 威胁模型： 攻击者控制任意数量、任意署名的新闻条目，知道系统架构和当周系数，但不能写可信输入；7 个提升家族以被攻击名进入 signal book 为成功，2 个降级家族以持有名被移除或减半为成功。

机器读者与市场测试

• Lopez-Lira & Tang (2026) — GPT-4 对新闻标题的解读跟踪模型截止后的初始市场反应。
• Kirtac (2026) — 监督语言模型的新闻概率预测三日超额收益符号并在日度 horizon 获得净收益。
• Glasserman & Lin (2023) — 评估 GPT 情感分析中的前瞻偏差。

类型化决策模型

• Sun et al. (2026) — 指出类型化概率输出本身不能证明校准性，类型化模型遵循选项名称而非定义。
• Tang & Zheng (2026) — 审计发现类型化读出无独立准确率优势，多数评估未报告标签概率基线。
• Tian et al. (2023) — verbalized confidence 可比标签概率更好校准但区分度低。

前瞻偏差与时点评估

• Lopez-Lira et al. (2025) — 记忆测试仅从下限约束回忆，提示忽略后期信息无效。
• Paleka et al. (2026) — 发布日期可约束截止，但作者补充了新闻本身报道结果和新闻在反应后发布两个渠道。
• He et al. (2025) — 时间锁定语言模型通过构造移除回忆。

模块化交易智能体与可操纵文本

• Greshake et al. (2023) — 间接提示注入可危害 LLM 集成应用。
• Nestaas et al. (2025) — 精心制作的 Web 内容可操纵 LLM 助手推荐的产品。
• Xiao et al. (2024) — TradingAgents 多智能体框架中专家分析师辩论或组合经理模型决策。

基线与对比

• 基线方法： VERB（同一 LLM 的 verbalized probabilities）、NG（开源类型化模型）、FinBERT（金融情感模型）、字典语调（Loughran–McDonald）。
• 基准/数据： Benzinga 新闻（100,906 条）、S&P 500 前 100 大市值股、SEC 8-K 备案。

作者定位本文区别：首次将读者无关的时点多智能体系统与预注册测试结合，分离新闻发布前后实现的市场反应，并在同一读者上测量有效性和可操纵性。

整体思路：构建一个多智能体交易系统，各智能体不交换自由文本，仅通过 Jev 类型化接口 回答封闭式问题（每个声明选项返回一个概率），共享 单写者时点存储；代码在证明的 影响界限 下设置仓位，确保任何读者文本对仓位的影响受限。

问题设定与形式化

• 读者定义： 封闭选择读者接收状态和带声明选项的问题，返回每个选项的概率分布（类型化判断），不生成自由文本。
• 有效性准则： 判断有效当且仅当其选项关于事件的陈述与读者未撰写的记录一致：市场对事件的反应（AR[0,+1]）和发行人 8-K 备案。
• H2 统计量： 周度 Spearman 相关系数，衡量 E[effect]（概率加权效应水平）与 AR[0,+1] 的关联，按周平均，单侧 Newey–West 检验（4 滞后）。

系统架构与智能体

• 新闻智能体： 每股票-周读取最多 40 条最近新闻，经筛选（去除观点、推广、指令）后，每条目回答 13 个问题（相关性、新颖性、事件类型、5 级效应、重要性、是否超预期、是否计划内、严重问题等）。
• 其他智能体： 技术（价格行为）、基本面（增长、利润率、杠杆、估值百分位）、政策（主题、阶段、利润影响）、宏观（指标百分位、利率日历）、档案（年报业务部分 21 个暴露标志）。
• 决策层： 在线逻辑模型预测持有周开盘-开盘收益是否超过宇宙中位数；24 个可信特征构成可信 logit L^T，12 个文本特征构成文本 logit L^W，以 L^T 为 offset 拟合，确保文本仅解释可信数据未解释部分。

影响界限与决策卡

• 界限机制： 文本 logit 被裁剪至 |L^W| ≤ κ_t（κ_t = 2s_t^T），且文本只能从 band（可信排名 ≤ K+J，K=20, J=10）中接纳名称，不能将权重提升至可信目标以上，不能在没有可信锚点（严重 8-K 或异常价格变动）的情况下移除受保护持仓。
• 决策卡： 每个持仓、进出名称获得 logit 和权重分类账，精确汇总至决策，将每个贡献归因至智能体及具体新闻条目。

评估协议

• 预注册： 评估窗口解锁前哈希承诺问题库、提示词、模型固定、决策层、攻击模板、种子和分析代码；H1–H3 经 Holm 校正。
• 状态词： Confirmatory（H1–H3，单侧，Holm 校正）、Registered（固定，95% 区间）、Exploratory（解锁后指定，始终标记）、Descriptive（Jev 行）。
• 攻击测试： 7 个提升家族（A1 指令、A2 伪造事实、A3 自我标榜、A4 隐藏指令、A5 股票推广、A6 植入新闻稿、A7 重复植入）和 2 个降级家族；成功定义为名称进入 signal book 或持有名被移除/减半。

实验设置

• 被测模型： emu（gpt-4.1-mini-2025-04-14，确认性读者）、Jev（jev-1.13.0，描述性）、NG（this-that-model-1.0，注册参考）、VERB（gpt-4.1-mini-2025-04-14 的 verbalized probabilities，对比）。
• 数据集： Benzinga 新闻（经 Alpaca API，100,906 条，2024-07-05 至 2026-09-11），S&P 500 前 100 大市值成分股（月度重排），SEC 8-K 备案。
• 基准： 115 个周度决策（W_clean），73 个发布后决策（W_release）；交易成本 15 bps/边。
• 指标： 周度 Spearman 相关（E[effect] vs AR[0,+1]）、AUC（事件类型 vs 8-K item code）、rank IC（logit 与持有周相对收益）、ASR（攻击成功率）。
• 评审方式： 无 LLM 评审；8-K 备案作为金标准；攻击成功由代码判定。
• 样本量： H2 框架 27,556 条新闻（emu 保留 31,848 条中的非股票活动/观点类）；VERB 2,000 条，NG 500 条（种子规则分层抽样）。

主结果

表格较宽，可左右滑动

测量	估计值	95% CI	来源
emu AR[0,+1]（全部 27,556 条）	0.119	[0.098, 0.140]	Table 2A
emu 发布后 73 周	0.115	[0.090, 0.140]	Table 2A
emu 从发布后首次交易	0.023	[0.005, 0.041]	Table 3
emu 8-K AUC（earnings vs Item 2.02）	0.833	[0.826, 0.840]	Table 2A
VERB AR[0,+1]（2,000 条）	0.097	[0.054, 0.138]	Table 2B
NG AR[0,+1]（500 条）	0.108	[0.016, 0.203]	Table A2
Jev AR[0,+1]（549 条发布后）	0.102	[0.017, 0.284]	§4.3

• 作者称 emu 的判断跟踪公告窗异常收益，且发布后 73 周仍保持（0.115），表明非单纯记忆。
• 作者称从发布后首次交易测量，关联降至 0.023，表明大部分关联源于新闻发布前已实现的收益。
• 作者称事件类型判断与 8-K 备案一致（earnings AUC 0.833），但 deals（0.611）和 management（0.557）一致性较低。

时间结构与内容分析

• 发布时间： 72% 的财报新闻在发行人 8-K 备案后发布（中位数 32 分钟后）；contributor 撰写的新闻 19.0% 报道价格变动，desk 新闻仅 0.6%（Table 3）。
• 事件时间： 关联在事件会话日峰值，次日接近零；81% 的新闻 AR[0,+1] 窗口在下次开盘前关闭（Fig. 3b）。
• 价格报道： 固定模式标记 7.1% 的新闻报道价格变动，审计估计真实比例约 10.6%；移除这些后统计量降至 0.089（Table 3, App. C）。

决策层效用（H3）

• rank IC： 全系统 IC −0.024，代码-only 孪生 −0.008，文本部分 −0.006；H3 确认性测试未检测到文本判断在代码特征之上的增量信息（ΔIC −0.016 [−0.029, −0.002]）（Table 4）。
• 作者解读： 对于该学习器和决策层，文本判断在周度 horizon 未提供可检测的 rank 信息；与快速同化研究一致（次日漂移降至年化 Sharpe 1.22）。

攻击与影响界限（H1）

• 攻击成功率： per-item reader ASR 10.5%，holistic reader 0.1%（差异 0.104 [0.081, 0.127]）；H1 假设（per-item 降低 ASR）未获支持（Holm-adjusted p = 1.000）（Table 5B）。
• 攻击家族： 伪造事实（A2）ASR 22.5%，植入新闻稿（A6）31.5%，重复植入（A7）25.9%，降级攻击（A8）57.2%；指令类攻击（A1, A3, A4）ASR 0.0%（Table 5A）。
• 影响界限： 所有攻击均在界限内；无名称从 band 外进入，无受保护名在无锚点下被排除；决策卡追踪 88% 成功攻击至植入条目（Table 5B）。

其他消融与分析

• 聚合方式： 中位数聚合 ASR 6.0%，多数投票 2.9%，均低于均值聚合（10.5%）（Table 5B）。
• 留一智能体： 移除任一智能体改变 rank IC −0.007（政策）至 +0.015（基本面），区间均覆盖零（§4.5）。
• FinBERT： 同一组新闻上语调相关 0.094，发布后降至 0.004（Table 3）。

作者指出的局限与后续方向

• 范围限制（§6 Scope）： 方法限于单一固定 LLM（emu）、Jev 作为描述性读者、NG 作为注册参考、单一新闻源（Benzinga 头条和摘要）、100 只大盘股和周度决策；作者称方法可扩展至任何产生公开时间戳记录的 Web 文本（如临床试验报告），系统接受任何符合 schema 的读者。
• 评估标准（§6）： 作者提出报告规则：除公告窗准则外，必须报告安慰剂窗口、盘前控制、模型发布后估计、再识别与弃权、已报道结果的新闻比例，以及最重要的发布对齐准则。
• 结论（§7）： 作者称 Web 新闻大多跟随市场，因此发布对齐准则而非公告窗决定读者是否有用；系统可作为未来读者评估的测试床。

实验覆盖范围

• 被测模型： emu（gpt-4.1-mini-2025-04-14）、Jev（jev-1.13.0）、NG（this-that-model-1.0）、VERB（gpt-4.1-mini-2025-04-14 的 verbalized 对比）、FinBERT（参考）。
• 数据覆盖： Benzinga 新闻 100,906 条（2024-07-05 至 2026-09-11），S&P 500 前 100 大市值股，SEC 8-K 备案。
• 攻击测试： 7 个提升家族 + 2 个降级家族，每家族 173–250 个攻击股票-周；自适应攻击者在 NG 上测试（64 查询/条目，30 条目）。
• 论文未报告： 其他 LLM 作为确认性读者、实时流处理、更高频交易（日内）、其他新闻源、非英语新闻、攻击者的具体查询成本或耗时。

论文构建了一个多智能体交易系统，检验 LLM 对 Web 新闻的判断是跟踪市场对其报道事件的反应，还是仅仅跟随新闻发布前已发生的价格变动。系统通过 Jev 类型化接口让智能体回答封闭式问题，共享单写者时点存储，代码在证明的影响界限下设置仓位，确保任何读者文本对仓位的影响受限。

核心发现：emu（gpt-4.1-mini）对 27,556 条新闻的判断与公告窗异常收益周度 Spearman 相关 0.119，且在模型发布后 73 周保持 0.115，表明非单纯记忆；然而从发布后首次交易测量，关联降至 0.023，且 72% 的财报新闻在发行人 8-K 备案后发布，表明大部分关联源于新闻发布前已实现的收益。事件类型判断与 8-K 备案一致（earnings AUC 0.833）。

在决策层，文本判断未在代码特征之上提供可检测的 rank 信息增量（ΔIC −0.016）。攻击测试显示，per-item reader 未降低攻击成功率（10.5% vs holistic reader 0.1%），但所有攻击均在影响界限内，且决策卡追踪 88% 成功攻击至植入条目。作者提出，市场分级测试应报告发布对齐准则而非仅公告窗准则，系统可作为未来读者评估的测试床。