Skip to content

Some text is shown in its original language while the English translation is being prepared.

arXiv· arXiv:2601.10758· Fengchao Chen, Tingmin Wu, Van Nguyen, Surya. Nepal, Carsten Rudolph·Indexed by this site · Originally publishedDate not givenSelectedAttention58

智能体面临风险:用户如何无意中削弱 LLM 安全

Agents at Risk: How Users Unwittingly Undermine LLM Safety

AI reading guide

论文提出 UReCoM(用户转述式上下文操纵)攻击,攻击者通过公开帖子等内容诱导普通用户把对抗载荷复制进对 LLM 智能体的请求,使外部内容以用户任务上下文的形式进入智能体。作者在扩展 AgentDojo 的基准上比较五种提示注入基线,UReCoM 在 Sandwich、StruQ、SecAlign 等预防型防御和 Perplexity、DataSentinel、CausalArmor 等检测型防御下取得更高的攻击成功率。在 GPT-5 上五种基线攻击成功率均为 0.00%,UReCoM 达 68.57%;DeepSeek-V3 为 70.97%,Llama 3.1 8B 为 62.66%。在 12 个商用智能体(6 个行程规划、6 个网页操作)上,默认无安全请求时行程规划智能体的环境约束绕过率为 83% 至 100%,只有用户明确要求验证时才会检查用户转述的链接和促销码。

Deep readingGenerating

Why it was selected

论文提出用户转述式上下文操纵攻击,并给出在 6 个模型与 12 个商用智能体上的攻击成功率,可供智能体部署方重新审视用户输入通道的信任假设。

Read originalarxiv.org