透过人眼与机器眼：理解视频透视扩展现实中的视图错配

系统截图被当成用户第一人称视野，但视频透视（video see-through, VST）头显中的矩形帧与用户有效可见区域可以不一致。

• 场景：Meta Quest、Apple Vision Pro 等 VST 系统用摄像头重建环境并叠上虚拟内容。截图被用于场景理解、安全分析和人机协作，帧内内容会被默认成用户也能看见。
• 缺口：作者认为，这一差别能被定性看到，但其幅度以及对评测、安全、隐私和任务效果的影响还没有被系统研究。即便裁剪画面或改宽高比，也只改变系统区域的形状，并不因此与人眼区域对齐。
• 划分：系统记录的是矩形渲染帧；用户一侧还受光学、镜片、眼位和佩戴约束。于是有的内容只被系统捕获，有的内容只被用户看见。
• 风险对象：依赖截图或捕获帧的下游视觉语言模型（VLM）、日志、远程协作和云端输入都会用到这幅画面。虚拟内容可以相对用户视图固定，在某些观看条件下留在捕获帧内、却位于有效视野外；作者对比说，物理注入物体可能在用户改变视角后变得可见。
• 本文：作者形式化共视、仅系统、仅人眼三类区域，在 Meta Quest 3 上做试点边界测量，并建立威胁与影响模型。四个案例对应提示注入、隐私泄露、人不可见信息偏置，以及缺失的人眼可见信息。

作者把相关工作分成头显可见性、系统捕获视图，以及 AI 集成 XR 的安全、隐私与任务风险三组。

头显中的人眼视野

• 临床视野：论文转述视野检查与 perimetry 方面的先前工作（Clark 与 Kruse，1990；Grzybowski，2009）：人眼可见性不对称、不是矩形，中央与周边范围也不同。作者认为这与 XR 直接相关，因为有效可见区域不必等于矩形图像帧。
• 光学配置：Rolland 与 Fuchs（2000）比较光学透视与视频透视头显。论文转述 Rolland 与 Hua（2005）的结论：头显可见性取决于光学和显示配置，而不只取决于渲染图像。
• 感知与交互：De Lange 等（2024）、De Souza 与 Tartz（2024）、Pfeil 等（2021）、Vona 等（2025）、Wang 等（2026）考察距离知觉、视觉质量、对比度与颜色、满意度或空间交互精度。作者称这些工作主要关注感知质量与交互表现；本文问的是，捕获视图用于下游分析时是否代表用户有效可见区域。

当作机器输入的第一人称画面

• 分割：Pigny 与 Dominjon（2019）的用户分割、Gonzalez-Sosa 等（2020）的自我中心手臂分割，以及 Gruosso 等（参考文献未标年份）的上肢分割，已把系统捕获的第一人称视图用作身体与周围环境的机器可读表示。
• VLM 管线：阻塞检测、Sensible Agent、Reality Copilot、Frame-First AR，以及对 AR 生成场景的 VLM 分析，把捕获视图送入场景理解与主动辅助。作者称这种用法可能默认捕获区域就是用户有效可见区域；本文同时检查“捕获多于人眼”和“人眼内容被截图漏掉”。

安全、隐私与误导内容

• 环境中的提示注入：Li 与 Chen（2026）研究物理或三维环境中带对抗文本的物体如何操纵多模态模型。
• 隐私处理：PRISM-XR（Chen 等，2026）在头显画面传到云之前做预处理；Liu 等（2026）按语义上下文检测 AR 中的隐私敏感视觉内容。
• 误导与遮挡：Chen 等（2026）、Xiu 与 Gorlatova（2025）等讨论有损任务或误导性的 AR 内容，包括遮挡和视觉信息操纵。作者称这些工作分析的是捕获视图里已经出现的内容，通常没有显式区分该视图与有效人眼可见区域。

基线与基准：论文没有命名算法基线，也没有使用公开数据集。四例是自建场景上的概念验证。唯一对照在提示注入一例：道路实景图直接交给 GPT-5.4 时，模型答出停车标志。

作者把本文放在上述工作旁边：不重做感知质量或已有的内容风险检测，而是检查“截图近似用户视野”这一代理假设，并同时覆盖两个方向的错配。

作者用 view mismatch 描述系统截图与用户有效视野之差：先定义三个区域，再在一台 Meta Quest 3 上估计人眼边界，并按两个差集构造下游案例。

区域定义

某一时刻的 VST 场景记为视觉信息空间 I。系统捕获区域 S 包括截图、导出帧或系统能访问的渲染视图；人眼可见区域 H 是经头显光学、显示、镜片、眼位和佩戴之后用户看得见的信息。二者都是 I 的子集。常见代理假设把 S 与 H 看作接近。作者认为该假设在 VST 中并不总成立。

共视与两个差集写为 R_c = S ∩ H, R_s = S ∖ H, R_h = H ∖ S。它们划分两边的并集：S ∪ H = R_c ∪ R_s ∪ R_h。元素落在 Rc 时双方都可见，落在 Rs 时只有系统可见，落在 Rh 时只有用户可见。Fig. 2 用黄色矩形表示 S，蓝色区域表示 H，绿色交集表示 Rc。作者写明，裁剪或改宽高比只改变 S 的几何，本身不能保证与 H 重合。

测量要估计什么

• 目的：得到这一套佩戴下、可与截图帧比较的人眼边界。作者写明这不是与设备或用户无关的光学模型，而是试点式的初始探针（Sec. 3.2）。
• 装置：Quest 3，观测者即作者，验光瞳距（IPD）63 mm，头显物理拨轮也调到 63 mm，双目观看。白板网格约 2.0 m×1.6 m，邻点 10 cm，主格线每 20 cm，中心离地 1.22 m；白板到主摄像头正面 0.95 m。观测者坐在固定椅上，头保持水平，使网格中心大致对准头显视野中心（Fig. 3）。
• 两侧并不使用同一只眼的协议：人眼边界在双目日常观看下观察；系统侧用默认内置截图，导出左眼视图，3840×2160、16:9。佩戴按不明显松动、也不过度勒紧来调整。

如何得到轮廓

• 步骤：先截取白板，得到图像坐标中的 S。然后注视网格中心，身体朝前，头大致稳定，没有机械头部固定。保持该注视和姿态时仍能知觉到的网格点记为可见，否则不可见。
• 记录：观测者手工记下最外侧仍可见的点。作者称这些点已接近有效可见边界，而不是被精确知觉的中央内容；尝试查看时，内容靠近光学周边，并伴有边缘畸变。作者认为测量中可能出现过小的不自主头动。
• 拟合：把采样点对到截图像素，再拟合一条闭轮廓，作为该佩戴条件下 H 的近似（Fig. 4）。作者称它不是头显的精确光学模型。

四类后果

第 4 节把 risk 用得较宽：既包括对抗行为，也包括不完整或不对称视觉信息带来的失败。Fig. 5 每一行对应一类。

• 提示注入：指令进入语言或多媒体模型的输入后，模型执行并非用户本意的命令。作者强调一个与物理物体的差别：虚拟内容可以相对用户视图保持位置，从而留在截图内、停在有效视野外。
• 隐私泄露：敏感内容位于 Rs 时，可以不在用户有效视野里，却进入截图、日志、远程协作流或模型输入。作者把它写成用户感知到的暴露与系统实际暴露之间的差距。
• 人不可见信息偏置：任务相关物体位于 Rs 时，下游模型可能计入用户没有有效知觉的信息，从而影响任务状态估计、辅助或注意推断。
• 缺失人眼可见信息：来自 Rh。把截图当作用户视觉经历的记录时，用户看见的内容可能不在存档或模型输入中。

案例怎么接到模型上

• 范围：四例是概念验证，不是穷尽基准，也不是统计评估。前三例看 Rs，最后一例看 Rh（Sec. 5.1）。
• 场景与放置：道路对应提示注入，客厅桌面对应隐私泄露，厨房对应人不可见信息偏置，广告屏对应缺失的人眼可见信息。每例一张 Quest 3 的 VST 截图，并叠上第 3 节的边界。基于 Unity 的 Quest 3 应用把虚拟元素放在估计区域之内或之外。
• 当场核对：观测者按指示确认，注入内容、演示信用卡和厨房里的停车标志处在有效视野之外；广告屏上的联系信息透过头显仍然可见，且靠近视野下部。
• 调用：系统截图加上一条任务查询，交给 GPT-5.4 并记录简短回答。论文未给出解码参数或重复次数。三类查询分别是：场景中与安全最相关的物体、画面中是否有信用卡及其卡信息、如何联系销售代表。

实验设置

• 设备与人：Meta Quest 3；观测者即作者，IPD 63 mm，头显拨轮调到相同数值。双目、按日常舒适佩戴调整，无机械头部固定。Fig. 1(b) 是镜头后方 USB 相机的近似画面，作者称它不是对人眼的精确测量。
• 网格：手绘白板约 2.0 m×1.6 m，邻点 10 cm，主格线 20 cm，中心离地 1.22 m，白板到主摄像头正面 0.95 m（Fig. 3，Sec. 3.2）。
• 截图与可见判定：默认内置截图为左眼 3840×2160、16:9。人眼侧是在注视网格中心、身体与头大致固定时仍能知觉到的最外网格点。
• 模型：下游只有 GPT-5.4。每例的输入是一张系统截图加一条任务查询。论文未写温度、系统提示或其他 VLM。
• 场景：道路、客厅桌面、厨房、广告屏，均为自建。正文对每例报告一张截图和一次模型回答，未报告重复次数，也没有命名数据集。
• 指标：Table 1 汇总定性的 Observed VLM Effect。论文未定义 ASR，也未写阈值、第二评审模型或人工一致性。提示注入一例另把道路实景图直接交给同一模型。

主结果

表格较宽，可左右滑动

案例	区域	查询任务	GPT-5.4 的观察
提示注入	Rs	道路场景中与安全最相关的物体	实景图答停车标志；注入位于右上 Rs 后答「The road intersection.」（Fig. 5a，Sec. 5.2）
隐私泄露	Rs	是否有信用卡及其卡信息	作者称模型识别出演示卡并抽出卡号；拍摄时卡不在有效视野内（Fig. 5b，Sec. 5.2）
人不可见信息偏置	Rs	厨房场景中与安全最相关的物体	答「the stop sign」，不是用户面前的刀（Fig. 5c，Sec. 5.2）
缺失人眼可见信息	Rh	如何联系广告屏上的销售代表	称联系信息在图像中不可见，无法直接检索（Fig. 5d，Sec. 5.2）

上表据 Table 1、Fig. 5 与 Sec. 5.2，模型均为 GPT-5.4。论文没有给出成功率或次数。

• 作者的总括：Rs 把用户未看见的信息送进 VLM，Rh 使截图缺少用户看见的信息。作者称这会变成安全、隐私和任务效果上的失败，而不只是几何差（Sec. 5.2）。
• 没有单独攻击者的一例：厨房案例没有另加注入指令。作者认为室内停车标志的通常安全含义被削弱，从用户有效视野看刀是更直接的危险，模型却回答了界外物体。
• 证据形态：作者称这些演示说明所建模的风险可以被实际做出。每例是一次回答，论文没有报告比例。

人眼边界测量

• 采样：白板坐标中，可见边界左侧约为 (−5, 6)、(−6, 5)、(−7, 4)、(−8, 2)、(−8.5, 0)、(−8, −2)、(−7, −4)、(−6, −5)、(−5, −6)。作者称右侧关于网格竖直轴大致对称；正文未列出右侧点，也未说明该坐标的物理单位（Sec. 3.3）。
• 轮廓：采样点对到像素后拟合闭轮廓，并叠到截图上（Fig. 4b）。作者称白板坐标中的边界近似椭圆，拟合结果在视觉上接近椭圆，而系统帧仍是 16:9 矩形。作者称这些点已接近可见场边缘，查看时靠近光学周边且伴有边缘畸变。图注只说明叠加关系，没有给出面积或像素偏差。
• 不均匀：作者称该次采集中 Rs 左侧宽于右侧，并认为这可能与截图来自左眼、从而在测量边界左侧纳入更多内容有关。作者还称网格原点不在截图几何中心，因此不应把截图理解成居中、对称的有效视野。作者称这一试点在经验上支持第 3 节的定义。

其他消融与分析

• 论文没有以注入文本、放置位置、VLM 或温度为变量的消融数字。
• 面积：作者写明不报告 Rs、Rh 的面积（Sec. 6）。
• 重复：作者写明没有重复测量来评估边界可重复性（Sec. 6）。
• IPD：作者称初步观察中，增大头显 IPD 设置可能使可见边界略增，未给变化量（Sec. 6）。
• 头动：未使用头部固定；作者认为可能有小的不自主头动，未报告位移（Sec. 3.2）。

作者指出的局限与后续方向

• 人与设备：边界测量基于 Meta Quest 3 和一名观测者，不是大规模用户研究（Sec. 6）。
• 条件与重复：测量在一种设置和一种观看条件下进行，没有重复测量来评估估计边界的可重复性（Sec. 6）。
• 随佩戴变化：估计区域会随头显型号、IPD、眼到镜片的距离、头的尺寸等变化。作者称增大头显 IPD 设置可能使可见边界略增，因此 Fig. 4 的轮廓是该设置下的，而不是与用户无关的（Sec. 6）。
• 面积与后续测量：试点目的是近似几何刻画而不是精确量化，所以不报告 Rs 与 Rh 的面积。作者计划在不同 VST 头显和多样用户上测量，用更精确的边界量化这两块区域的相对面积，并得到更可推广的可见性模型（Sec. 6）。
• 频率：风险分析是代表性案例，不是系统基准。作者称演示说明这些风险可以实际发生，但没有量化错配影响用户、模型或下游任务的频率（Sec. 6）。
• 时间过程：分析主要是静态、基于单帧，没有刻画自然头动或注视下错配如何变化，也没有刻画 Rs 或 Rh 中的内容会持续多久。作者计划建立 view-mismatch-aware 基准，系统变化场景布局、物体放置、错配区域、任务类型和模型选择，并评估面向用户的影响与下游任务行为（Sec. 6）。

实验覆盖范围

• 测量对象：Meta Quest 3，观测者为作者一人，双目，IPD 63 mm，佩戴按日常舒适标准调整，没有机械头部固定（Sec. 3.2）。
• 几何协议：白板网格约 2.0 m×1.6 m、点距 10 cm、主格线 20 cm，中心离地 1.22 m，摄像头正面距离 0.95 m；系统侧为默认左眼截图 3840×2160、16:9（Sec. 3.2，Fig. 3）。
• 边界数据：注视中心时仍能知觉到的最外网格点被手工记录，映射到像素后拟合闭轮廓；正文列出左侧采样，并称右侧大致对称（Sec. 3.3，Fig. 4）。
• 下游案例：模型为 GPT-5.4；四个自建场景各报告一张 VST 截图和一条任务查询，三例内容位于 Rs，一例位于 Rh（Sec. 5，Table 1，Fig. 5）。
• 论文未报告的量：Rs 与 Rh 的面积、边界或 VLM 的重复次数、采样温度，以及 GPT-5.4 以外模型的结果（Sec. 5.2，Sec. 6）。

作者研究 VST XR 里头显截图与用户有效可见区域不一致时，下游感知会怎样偏离用户实际所见。

• 问题：系统保存矩形截图，用户有效视野还受光学与佩戴约束，二者不能默认相等。Rs 中的内容可被处理而用户看不见；Rh 中的内容用户看得见，截图却可能没有。
• 做法：在视觉信息空间中定义共视区域以及 Rs、Rh 两个差集，并用 Meta Quest 3 的白板网格做设置特定的边界估计。默认截图是左眼 3840×2160、16:9，观测者 IPD 为 63 mm，人眼侧按双目注视中心来记最外可见点。四个日常场景经 Unity 应用把内容放在估计边界内外，再把截图和任务查询交给 GPT-5.4。
• 边界：作者给出左侧一组采样，最外点为 (−8.5, 0），并称右侧大致对称、拟合轮廓接近椭圆，而截图仍是矩形。该帧 Rs 左侧更宽；作者认为这可能与左眼导出有关，并称网格原点不在截图几何中心。
• 四例：道路实景直接输入时，GPT-5.4 答停车标志；注入内容放在右上 Rs 后，回答变为「The road intersection.」。左下 Rs 的虚构信用卡被识别并抽出卡号。厨房右上 Rs 的停车标志使回答成为「the stop sign」，而不是用户面前的刀。广告屏下部用户看得到的联系信息不在截图中，模型无法直接检索。
• 作者的结论：基于截图的 XR 感知应区分系统可见与人眼可见。讨论中的方向包括让导出帧更接近有效视野；对安全和隐私流程宁可缩小 Rs，即使 Rh 变大；用可见区域掩码忽略、模糊、降权或标注界外内容；在存储、传输或分析前做权限请求、预览或边界叠加。作者同时认为这些做法不能消除错配。