Vision Wormhole:异构多智能体系统中的潜空间通信
Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems
AI 导读
研究者提出 Vision Wormhole,将视觉语言模型的视觉输入接口改造为冻结异构智能体之间的连续潜空间通信通道。其通用视觉编解码器把发送方的潜空间 rollout 编码为固定尺寸消息,经共享参考空间映射后解码进接收方的图像 token 区间,N 个模型采用只需 O(N) 个组件的轴辐式架构。每个模型通过锚文本上的自蒸馏独立学习编解码器,共享锚点对齐使编解码器可在不同通信伙伴间复用。在四个 VLM 家族、六种团队配置和九个推理基准上,Vision Wormhole 相比以文本为媒介的多智能体系统平均提升 6.0 个百分点准确率,批归一化端到端运行时间取得 1.69 倍几何平均加速。