ReCast：在固定媒体接口下保护多模态推理的隐私框架

在固定媒体接口下，如何替换图表与语音中的源内容，同时保留数值推理所需的关系并恢复原答案。

• 场景：作者称本地-远程协作已大量研究文本，但商业报告和会议录音中的私有证据是图表或语音。设备端模型在多模态感知与数值计算上仍落后于远程模型，而服务接口模式固定：图表分析端点要图像，口语问答端点要波形。
• 现有方法不足：视觉指令改写与符号场景表示把输入变成文本，媒体接口不接受。说话人匿名、对抗扰动和图像变换保留模态，但图表或语音里“哪个实体对应哪个数值”仍原样到达远程模型。数值任务还要求证据与问题一致变换，变换后的量既要支持所请求的计算，又要能恢复原答案。
• 核心观察：任务需要的是关系——数量属于哪个实体、问题比较哪一对、请求哪种运算；源贡献的是实体、主题、措辞和数值。作者据此把源内容与任务关系分开。
• 提出的方法：RECAST，一个智能体插件流水线。本地把图表或录音转成白盒、与模型无关的文本证据-问题记录；蒸馏的本地 4B Rewriter 联合替换名称与领域并固定关系；按请求的数值映射在本地可逆；重建智能体按接口契约生成并校验所需媒体。远程求解器返回针对受保护操作数的 Python 程序，客户端恢复原操作数后本地执行，把 Zhang et al. (2026) 的恢复方案扩展到媒体输入。
• 威胁模型：
  • 目标：减少源特定实体、主题、措辞和数值的暴露，同时保留证据-问题关联，以便本地恢复答案。
  • 知识与接口：源模态与可发布模态记为 m、r，取值于 text、image、audio；主要考虑 r = m，仅当接口允许时才换发布模态。部署时原始输入与逆映射留在本地；远程重建服务只收到受保护内容及派生产物，求解器收到受保护证据与受保护问题。
  • 能力：本地证据捕获、联合改写、数值替换与媒体重建；求解器返回带标记受保护操作数的程序，不在受保护数值上直接给出最终答案。
  • 成功判定：任务准确率，以及求解器侧请求被审计为源内容泄露的比例。泄露覆盖语义、词汇、实体-数值对应或可链接回源的信息；通用推理结构不计为泄露。审计不覆盖全部重建服务输入。

相关研究按论文第 2 节分成三组。作者把 RECAST 放在“用文本作可编辑中间表示，再重建成接口接受的媒体，并在本地从程序恢复答案”这一位置。

文本隐私

• 词级与文档改写：SanText 与 CusText（Yue et al., 2021; Chen et al., 2023）在差分隐私下用语义相关替代替换词；DP-Prompt 与 DP-MLM（Utpala et al., 2023; Meisenbacher et al., 2024）用语言模型生成连贯的受保护文本；DP-Fusion（Thareja et al., 2025）合并不同输入版本条件下的生成分布，以限制敏感 token 的影响。
• 推断与任务效用：Staab et al. (2024) 讨论上下文线索可揭示个人属性；对抗匿名用此类推断攻击指导修订，RLAA 将其适配到本地模型（Staab et al., 2025; Duan et al., 2026）。STAMP 按任务相关性与隐私敏感度分配隐私预算，DP-ST 用语义三元组指导私有文档生成（Tian et al., 2026; Meisenbacher et al., 2025）。作者认为这些工作与“保留有用关系、替换源内容”相关，但文本保护本身不提供所需图表或波形。

本地-远程协作

• 委托与上下文控制：Hartmann et al. (2024) 研究模型如何在不泄露私有信息的情况下向另一模型求助。CoGenesis 与 PAPILLON（Zhang et al., 2024; Siyan et al., 2025）协调本地与远程生成并限制暴露给远程模型的私有上下文；InferDPT（Tong et al., 2025）结合本地扰动、远程生成与本地抽取。Privacy-R1、Veilmind 与隐私风险估计分别学习传送哪些文本、按用户意图做脱敏、以及估计直接标识之外的上下文披露（Hui et al., 2026b; Liu et al., 2026; Siyan et al., 2026）。
• 最近的数值推理方案：Zhang et al. (2026) 平移文本数值推理实例的主题、替换数字，再从远程模型返回的程序在本地恢复原答案。程序生成与执行分离也是程序辅助推理 PAL（Gao et al., 2023）的核心。作者称 RECAST 把该恢复方案扩展到媒体输入与输出：共享记录显式化跨字段引用，重建则检查发布的图表或语音是否仍表示受保护证据；区别不只是使用多模态求解器。

多模态与媒体隐私

• 抽象表示：视觉语言模型可从图像推断个人属性，即使图像没有直接描绘该个体（Tömekçe et al., 2024）。符号场景表示支持隐私保护的视觉问答（Bara et al., 2022），ReVision 把依赖图像的指令改写成自包含文本（Mishra et al., 2025）。隐私之外，DePlot 用图到表翻译把图表感知与语言推理分开（Liu et al., 2023）。作者称这些工作促使使用显式中间表示，但其文本或符号输出不能直接替代固定接口要求的图像或波形。
• 媒体级方法：说话人匿名在保留语言内容的同时改变声音身份（Meyer et al., 2022）；SpeechShield 在云端识别前掩盖敏感语音片段（Benazir & Lin, 2025）；学习到的图像变换保护视觉隐私属性，对象是黑盒多模态模型（Hui et al., 2026a）。SPTI（Wang et al., 2025）用私有文本中介合成差分隐私图像，但发布的是合成数据集，而不是绑定到某次计算的受保护媒体-问题对。

基线方法与基准

• 基线：端到端 Remote-native 把原始媒体和问题交给同一远程求解器。本地零泄露参照为 Gemma-4-E4B 与 Qwen2.5-Omni-3B；ChartQA 上另用 Stage 1 的 Qwen3-VL-8B 单独作本地求解器。Stage 2 替换 Rewriter：未调 Qwen3-4B、离线教师 GPT-5.6-Sol，以及施加于同一文本记录的 RLAA（移植到 Qwen3-4B）和 Eternis-Anonymizer-4B。Stage 3 媒体保护参照为 PSIC、SPTI、AudioShield（不恢复原数值操作数，故只报原生暴露诊断）；重建实现对照为 Codex CLI 与 DeepSeek Harness。
• 基准：分布内为 ChartQA（Masry et al., 2022）与 NMSQA（Lin et al., 2022）；分布外为 ChartX（Xia et al., 2025）与 Spoken-MQA（Wei et al., 2025）。

RECAST 把源内容与任务关系分开：本地捕获证据，联合改写语义并做可逆数值映射，再把受保护记录重建成接口所需模态；远程求解器只对受保护操作数写程序，客户端恢复后执行。

任务与总体形式

给定私有证据 X 与文本问题 q，m、r 分别为源模态与可接受的发布模态。证据捕获算子 Em 得到规范化文本记录 D = Em(X, q)。语义改写器 Rθ 带可训练适配器参数 θ，Hh 是由该请求的单射 h 诱导的数值变换。通过发布校验的请求满足

D̃ = H_h(R_θ(D)),  (X̃, q̃) = G_r(D̃).

其中 De 为受保护记录，Xe、qe 为模态 r 下发布的证据及其受保护文本问题，Gr 为重建与校验。部署时 (X, q, D) 与逆映射 h−1 留在本地。

多模态证据捕获

• 图表：本地、问题感知的 Qwen3-VL-8B-Instruct 抽取类别-数值关联、图例-序列对应、单位、顺序，以及被问到的视觉属性。
• 语音与文本：Qwen3-ASR-1.7B 转写语音；确定性解析器规范化文本并保留字段边界与数值跨度。
• 共享字段：各分支共用 id、modality、context、question、choices；数值答案任务的 choices 为空。改写前规范化数值表达式，使证据与问题中的重复量对齐。作者称该接口与模型无关，捕获插件可独立替换，只要输出与模式兼容。捕获只显式化任务内容，不回答问题。

联合改写与数值保护

• 语义改写：证据与问题一起被改写到连贯且语义不同的领域，保留数量归属、交叉引用、所请求运算与答案类型。图表改写保持类别-数值、图例-序列及被问视觉属性；语音改写保持实体-数量、共指、事件顺序和时间或比较链接。数值字面量在此阶段不变。
• 蒸馏：用 QLoRA 在离线 GPT-5.6-Sol 对训练侧图表描述与语音转写的改写上微调 Qwen3-4B。模式与逐字段数值字面量过滤得到 15,795 对，划分为与评测不相交的训练与开发集；部署时用本地学生改写。损失只加在输出 token 上，即教师改写序列的下一 token 负对数似然。推理输出若未通过模式或数值字面量检查则重新生成；语义一致性在发布前另查。
• 数值映射：V 为证据与问题中不同的规范化值。每请求采样单射 h，逆映射只在本地。同一幅度带内无碰撞替换后排序，使带内顺序保持；同一上下文年份组共享偏移 δg。重复值得到同一替换；0 到 15 的非年份整数用恒等映射。映射保持带内顺序与组内年份间隔，不保持一般差值、比率或跨类比较。
• 操作数恢复：求解器返回 Python 程序，观察到的数值操作数标为 protected。客户端把每个标记操作数替换回原值再本地执行。恢复作用在操作数上，而不是对受保护数值算出的答案。作者称正确恢复需要忠实证据以及正确的操作数与运算选择；基于未保持的差值或比率的判断，除非恢复后再执行，否则不必迁移。

模态重建与发布校验

重建智能体用生成-审核-修复循环把受保护记录变成接口兼容产物，目标是忠实表示受保护证据，而不是复现原图表外观或说话人身份。

• 图表：远程代码模型把受保护证据译成声明式 ChartSpec（图表类型、类别、序列、数值、标签、单位、颜色）。本地做结构与数值检查后，用固定 Matplotlib 模板渲染。远程视觉模型对照受保护记录审核图像，结构化反馈最多四次修复。两个远程模型都不接收原图表。修复失败时，仅当接口接受才回退到已校验的表格，否则扣留该请求。
• 语音与文本：远程 TTS 合成受保护段落；控制器转写候选波形，核对可懂度、受保护数量与实体指称，失败则重新生成。文本兼容接口则把受保护证据与受保护问题直接序列化。
• 两次检查：Vprotected 核对渲染或转写结果是否符合受保护记录；Vsource 把改写实体与源角色对齐、恢复映射值，并与原始输入比较赋值与依赖。发布当且仅当二者都通过。作者称这些操作检查不构成语义正确性的证明，也不构成形式化隐私保证。

实验设置

• 数据：分布内为 ChartQA 与 NMSQA 各 2,000 条留出数值答案样例，与 Rewriter 蒸馏记录不相交。蒸馏池为 9,370 条 ChartQA 与 7,000 条 NMSQA，得到 15,795 对教师样本，分成 15,480 训练与 315 验证。分布外为 ChartX 与 Spoken-MQA 各 2,000 条。评测 ID 在执行前固定。未另作说明时结果报在 ID 集上。
• 流水线实例：Stage 1 为 Qwen3-VL-8B-Instruct 与 Qwen3-ASR-1.7B；Stage 2 为 QLoRA 微调的 Qwen3-4B；Stage 3 由 DeepSeek-V4 生成并审核 ChartSpec，Qwen3-TTS-Flash 合成语音。所有远程设置的求解器均为 Qwen3.5-Omni-Plus，含 Remote-native。本地组件在单张 NVIDIA RTX 4090 上顺序运行。
• 基线：Remote-native 发送原始媒体与问题。Gemma-4-E4B、Qwen2.5-Omni-3B 在原始输入上本地作答，作为零泄露参照；ChartQA 上另评 Qwen3-VL-8B 单独求解。Stage 2 在其余组件固定时替换 Rewriter。PSIC、SPTI、AudioShield 不恢复原操作数，只报原生暴露诊断，作者称其协议与 RECAST 的求解器侧泄露率不可直接比较。
• 指标：Acc. 为任务准确率；NAcc. 为该方法准确率与同一样例上 Remote-native 准确率之比；Leak. 为固定 LLM 评审标记的求解器侧请求比例，标记语义、词汇、实体-数值对应或源可链接信息，通用推理结构不计。表中 Overall 为 ChartQA 与 NMSQA 的算术平均。不按准确率或泄露做事后过滤。
• 评审校验：第 4.5 节用 400 对人工标注比较该固定 LLM 评审；三位标注者是论文作者。评审模型名称论文在正文未另写。

主结果

据正文第 4.2 节与 Table 1(a)。本地零泄露与 Remote-native 的完整数字在附录 Tab. 10，转换文本未给出该表各格，故下表不填那些参照的 Acc.。正文给出的差值仍列出。

表格较宽，可左右滑动

设置	ChartQA Acc.	NMSQA Acc.	Overall Acc.	Overall Leak.
Qwen3-4B 未调（Stage 2）	66.40%	71.00%	68.70%	39.75%
RECAST 蒸馏 4B	70.20%	80.00%	75.10%	7.95%
GPT-5.6-Sol 教师	70.30%	81.00%	75.65%	3.20%
Remote-native / 本地参照	未报告	未报告	未报告	未报告

据 Table 1(a)、Table 1(b)、正文 4.2。

• 作者解读：RECAST 的 NAcc. 在 ChartQA 为 93.48%、NMSQA 为 91.53%、总体 92.43%，总体求解器侧泄露 7.95%。作者称受保护流水线保留了无保护远程求解器的大部分推理效用，并降低求解器边界的源内容暴露。
• 相对本地模型：ChartQA 上 RECAST 70.20%，高于单独作求解器的 Qwen3-VL-8B（62.80%）7.40 个百分点；NMSQA 上 80.00%，高于 Qwen2.5-Omni-3B（46.30%）33.70 个百分点。Gemma-4-E4B 的准确率在所给正文中未列出数字。
• Rewriter：蒸馏后总体 Acc. 比教师 75.65% 低 0.55 个百分点，比未调模型高 6.40 个百分点，泄露从 39.75% 降到 7.95%。Table 1(b) 中 RLAA 与 Eternis 的源内容留存分别为 80.25% 与 94.95%。作者称通用匿名化大多留下源内容，而蒸馏 Rewriter 联合替换记录中的实体与主题；Table 1 所报方法里，只有 RECAST 在两种模态上都报告了端到端 QA 准确率。

重建实现与分布外

• Stage 3 实现（Table 2）：同一批受保护样例上，RECAST 总体 75.10%，Codex CLI 65.00%，DeepSeek Harness 70.70%。相对 Codex CLI，ChartQA 高 18.20 个百分点、总体高 10.10 个百分点；相对 DSH，ChartQA 高 9.30、总体高 4.40。NMSQA 上 DSH 为 80.50%，比 RECAST 的 80.00% 高 0.50 个百分点。作者称优势主要来自图表重建，并非在各模态上一致。
• 媒体保护参照（Table 1b）：PSIC 在 ChartQA 上的暴露诊断为 28.20%（单数据集），SPTI 为 0.00%，AudioShield 在 NMSQA 上为 0.60%。作者称 SPTI 的 0.00 表示其原生暴露诊断下未检出源内容泄露，且这些诊断与 RECAST 的泄露率不可直接比较。
• OOD（Table 3）：图像 ID Acc. 70.20%、泄露 8.00%；ChartX 为 62.40% 与 1.40%，准确率下降 7.80 个百分点。音频 ID 80.00% 与 7.90%；Spoken-MQA 为 79.40% 与 5.90%，准确率下降 0.60 个百分点。作者称音频的 OOD 降幅更小，图像对图表分布变化更敏感；因数据集不同，这些泄露率只作描述，不解释为蒸馏的效应。

其他消融与分析

• Stage 1 路径（Table 4）：同一多模态模型下，联合输入总体 Acc. 44.60%，解耦文本记录路径 65.85%（+21.25 个百分点）；图像 46.00%→65.90%，音频 43.20%→65.80%。这不是完整 RECAST 的复现。
• 发布格式（Table 5）：受保护记录固定时，保护文本总体 76.85%，重建媒体 75.10%。ChartQA 上重建图像 70.20%，高于保护文本 69.80% 共 0.40 个百分点；NMSQA 上保护文本 83.90%，高于重建语音 80.00% 共 3.90 个百分点。作者称语音合成带来效用损失，但要求波形的服务仍需要音频重建。
• 泄露评审（Sec. 4.5）：400 对上与人工多数一致率为 91.50%，κ = 0.83。作者称一致程度超过偶然。
• 贡献条目中的概括：作者称蒸馏增加 6.40 个准确率百分点，并把泄露从 39.75% 降到 7.95%；ChartQA 上重建媒体比直接发布保护文本高 0.40 个百分点。与 Table 1、Table 5 一致。

作者指出的局限与后续方向

• 校验的范围：第 3.4 节写明，发布用的操作检查不构成语义正确性的证明，也不构成形式化隐私保证。
• 数值映射的保持范围：第 3.3 节写明，映射保持带内顺序与组内年份间隔，但不保持一般差值、比率或跨类比较；基于未保持差值或比率的判断不必迁移，除非恢复后把判断推迟到程序执行。
• 重建并非各模态一致占优：第 4.2 节报告 NMSQA 上 DeepSeek Harness 比 RECAST 高 0.50 个百分点，并写明 RECAST 的优势主要来自图表重建，而不是在各模态上一致成立。第 4.4 节写明，相对直接发布保护文本，重建语音低 3.90 个百分点。
• 暴露诊断不可直接比较：第 4.2 节写明，PSIC、SPTI、AudioShield 的诊断使用各自协议，因此不与 RECAST 的求解器侧泄露率直接比较；这些方法也不产生该协议下可作答的端到端 QA 实例。
• 发布计划：Reproducibility Statement 写作者将发布代码、提示词、蒸馏适配器、被接受的教师轨迹、每次运行的清单，以及逐例请求与审计日志。这是计划，不是已完成的发布。
• 部署边界：Ethics Statement 写，泄露评审只在评测流程中接收原始输入；部署时原始输入与逆映射留在本地。敏感部署可以把 RECAST 与对这些服务的合同及访问控制结合起来。论文没有单独的 Limitations 节。

实验覆盖范围

• 数据与划分：ID 为 ChartQA、NMSQA 各 2,000 条；OOD 为 ChartX、Spoken-MQA 各 2,000 条（Table 6、第 4.1 节）。蒸馏与检查点选择只用训练侧记录，与评测 ID 不相交。
• 模型角色：求解器固定为 Qwen3.5-Omni-Plus；捕获为 Qwen3-VL-8B-Instruct 与 Qwen3-ASR-1.7B；改写为学生 Qwen3-4B 与教师 GPT-5.6-Sol；图表规格与审核为 DeepSeek-V4；语音合成为 Qwen3-TTS-Flash（第 4.1 节、Table 7）。
• 对照：Stage 2 对照包括未调 Qwen3-4B、RLAA-Qwen3-4B 与 Eternis-Anonymizer-4B；Stage 3 重建对照为 Codex CLI 与 DeepSeek Harness；媒体参照为 PSIC、SPTI、AudioShield，只报原生暴露诊断（Table 1、Table 2）。
• 指标与人工：Acc.、NAcc.、Leak.；Overall 为两个 ID 集的算术平均。泄露评审在 400 对上与人工多数比较，一致率 91.50%，κ = 0.83；三位标注者为论文作者（第 4.5 节、Ethics Statement）。论文未报告该 LLM 评审的模型名称，也未报告攻击式自适应评测。
• 运行：本地组件在单张 RTX 4090 上顺序运行；程序执行在单独进程中，超时 5 秒（Table 7）。图表修复最多四次（第 3.4 节）。

RECAST 是面向固定接口多模态数值推理的契约保持保护框架：替换源内容，保留任务关系与服务要求的媒体格式。

• 问题：图表和语音上的远程推理能力强于设备端，但接口要图像或波形。文本改写给不出这些媒体；说话人匿名和图像隐私变换又让实体-数值内容原样到达远程模型。证据与问题还必须一致变换，并支持把答案恢复到原数值。
• 方法：本地捕获把输入变成五字段文本记录；蒸馏的 Qwen3-4B 联合改写实体与主题并保持关系；按请求的角色感知映射替换数值，逆映射只留在本地。重建智能体生成 ChartSpec 或代理语音，经生成-审核-修复后才发布。求解器 Qwen3.5-Omni-Plus 返回带 protected 操作数的程序，客户端还原后执行。
• 主结果：ChartQA 与 NMSQA 各 2,000 条上，Acc. 分别为 70.20% 与 80.00%，总体 75.10%，NAcc. 总体 92.43%，求解器侧泄露 7.95%。蒸馏相对未调 Qwen3-4B 提高 6.40 个准确率百分点，泄露从 39.75% 降到 7.95%，与教师总体 Acc. 相差 0.55 个百分点。
• 其他结果：ChartX 与 Spoken-MQA 上 Acc. 为 62.40% 与 79.40%。同一受保护记录上，RECAST 重建总体高于 Codex CLI 与 DeepSeek Harness，但 NMSQA 上 DSH 高 0.50 个百分点。ChartQA 上重建图像比直接发布保护文本高 0.40 个百分点；NMSQA 上低 3.90 个百分点。400 对上泄露评审与人工多数一致率为 91.50%（κ = 0.83）。
• 作者结论：求解器侧的源内容暴露可以降低，同时保留远程数值推理的大部分效用，并兼容现有媒体接口。操作检查不是形式化隐私保证。