Agent 安全 · 论文

• 研究定位与核心问题：针对移动GUI智能体在多候选集选择任务中的安全风险，论文研究非特权UI欺诈注入引发的“任务内目标偏离（In-Task Goal Deviation）”，即智能体在没有执行级劫持或异常轨迹的情况下，最终决策被诱导至攻击者指定选项。
• 基准构建与评测设计：构建决策完整性基准DIBench，包含7款商用与3款模拟App的5类任务（1,000个良性与36,672个注入实例），在非特权UI威胁模型下设计8种探针变体，通过成对对照实验与TCR、COR、ASR指标量化决策偏离。
• 完成度指标的虚假安全假象：实验显示欺诈注入会缩短前置探索、促使过早选定选项并推高任务完成率；在COMMERCE中，Combined注入使AppAgent+Qwen2.5-VL的TCR从42.0%升至72.4%，同时ASR达45.8%（Table 3），作者称传统完成率指标会高估安全性。
• 模型易受操纵性分层：在SIMULATOR与Mobile-Agent-V3设定下（Table 8），通用开源模型呈现最高ASR（Qwen3-VL在Combined下ASR为49.8%），专用开源模型次之（GUI-Owl为19.3%），闭源模型较低（DoubaoSeed-1.6为7.5%、Gemini-3-Flash为8.7%、GPT-5.2为3.8%）。
• 通用防御措施的局限：评测表明现有通用防御收益不稳定；图像检测对微弱信号攻击漏检率高（Naive仅18.2%召回率，Table 4），预处理可能破坏良性证据并导致ASR反弹（Table 6），提示词警告依赖模型顺从度且可能导致COR下降（Table 7）。
• 作者结论与启示：作者认为执行正确性与决策可信度存在解耦，决策完整性应作为智能体安全评测的独立层级；未来需超越浅层结果指标，构建基于结构化属性核验与证据接地的防御体系。

• 定位与核心问题：本文评估大语言模型长程研究（Deep Research）智能体在开放信息环境下的内容可靠性，重点探究智能体是否会在最终报告中采纳具有表面可信度但事实错误的误导性知识作为自身结论。
• 方法设计要点：提出 MisKnow-Agent 受控评估框架，针对 DeepResearch Bench 的 100 个任务构建人工审核的虚假结论蓝图，生成跨 3 个权威层级与 4 种风格的误导文档，并经 5 个搜索验证模型交叉检验与人工质量筛选保留 5,933 篇文档；同时设计了前置验证提示与后置精炼智能体两阶段防御。
• 暴露与来源影响：实验表明无注入对照下平均虚假结论采纳率（FCAR）为 0%，注入 1 篇误导文档即升至 54.7%（Figure 5）；搜索结果排名位置对采纳率影响较小（Front 与 Back 仅差 1.7 个百分点），而在最终合成前引入误导文档使平均采纳率升至 85.5%（Figure 3）；学术论文风格产生的采纳率最高（61.0%），较社交帖子高出 23.5 个百分点（Figure 4）。
• 系统与框架差异：在默认高权威学术论文风格下，DeerFlow 平均 FCAR（67.0%）高于 WebThinker（55.0%），差距随模型智力指数提升而缩小，但采纳率与智力指数不呈单调关系（Table 3）；Gemini Deep Research 同样表现出类似趋势，FCAR 在 1 篇时为 27%，在 3 篇时达到 54%（Figure 7）。
• 防御表现与启示：前置提示、后置精炼及组合防御可将 DeerFlow 上的 FCAR 从基线的 60%–76% 降至 15%–62%，但无法完全消除采纳，且在 Intern-S1-Pro 上组合防御（62%）高于单项防御（Figure 7）；作者认为仅靠隔离识别误导文档并不充分，必须将验证与修正机制贯穿于证据获取、中间研究状态和最终合成的全流程。

这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。

本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

• 研究定位：针对大语言模型长文档应用缺乏针对性安全评测的问题，作者提出了长文本提示注入基准LongPIBench。
• 核心问题：现有提示注入基准主要评估数十至数百token的短文本，无法反映处理数万token长文档的实际部署环境，导致现有防御的有效性受到高估。
• 方法设计：基准覆盖论文评审、简历筛选、代码审查和邮件总结4种真实决策场景，构建了合成与真实两套长文档数据集；除了评估传统启发式与基于GCG的优化攻击外，作者提出了利用社会权威线索的Authority spoof攻击，并系统评测了15种现有防御方法。
• 主要发现：
  • 启发式攻击在无防御长文本中表现出高攻击成功率，Authority spoof在Llama-3.1-8B-Instruct与Qwen3-8B上达成1.00的ASR，在GPT-4o与GPT-4.1上也分别达到0.82与0.79（Table 1）。
  • 基于token优化的GCG攻击在长文档中依然有效，在论文评审与简历筛选上ASR达1.00，在代码审查达0.92（Table 2）。
  • 短文本下表现优良的预防防御在长文档中大多失效，MetaSecAlign 8B在短文本OPI基准的ASR为0.00，而在LongPIBench长文本聚合下升至0.78（Table 5）。
  • 检测型防御在长文本中面临分类失衡，DataSentinel等假阳性率偏高（FPR达0.54至1.00），而DeBERTa与EVD漏报率偏高（FNR达1.00），分段检测策略未能解决该矛盾（Table 3, Figure 3）。
• 作者结论：作者认为长文本设置从根本上改变了提示注入攻防的表现，短文本安全评估无法直接外推，亟需针对长上下文特性设计新的防御策略。