形式化 LLM 智能体安全的框架

论文提出一个从上下文安全视角形式化 LLM 智能体安全的框架，用四项安全性质统一刻画现有攻击与防御。论文指出智能体安全具有上下文性，同一动作是否构成违规取决于指令来源、所追求目标及动作是否服务于该目标，而现有攻击定义往往忽略这一点，导致防御陷入安全与可用性的权衡。四项性质分别是任务对齐（追求被授权的目标）、动作对齐（单个动作服务于目标）、来源授权（执行经认证来源的命令）和数据隔离（信息流遵守权限边界）；作者还引入一组 oracle 函数，用于验证智能体执行任务时是否违反这些性质。在该框架下，间接提示注入、直接提示注入、越狱、任务漂移、记忆投毒等现有攻击被重新刻画为对一项或多项性质的违反，防御被重新刻画为强化 oracle 函数或执行性质检查的机制，作者并讨论了框架开启的未来研究方向。