跳到正文
原文

保障 LLM 智能体安全需要意图到执行的完整性

Securing LLM Agents Need Intent-to-Execution Integrity

arXiv· arXiv:2605.16976· Wenjie Qu, Ming Xu, Peiran Wang, Shengfang Zhai, Jiaheng Zhang, Dawn Song·本站收录· 14 天前· 原文发表观点
AI 导读

研究者在一篇立场论文中提出,保障 LLM 智能体安全需要先定义端到端正确性性质,即智能体的执行忠实反映用户意图的意图到执行完整性。作者指出,现有防御大多隐含假设工具可信,而 OpenClaw 这类拥有开放第三方技能生态、可直接访问用户环境的系统打破了该假设,暴露出执行管道中存在恶意或过度授权组件等新失效模式。论文将 LLM 智能体在结构上类比编译器,把安全违规视为未保留用户意图的错误执行,归纳出不可信数据摄入与不可信工具执行两类问题来源,并提出 Tool Integrity、Instruction Integrity、Judgment Integrity、Data Flow Integrity 四项须同时成立的完整性性质。作者据此分析现有智能体防御,称当前系统仅提供部分且不可组合的覆盖,在现代 LLM 智能体安全上留下根本缺口。

阅读原文arxiv.org