优化智能体规划以兼顾安全与自主性

研究者提出安全感知智能体设计与自主性指标，让确定性系统级防御在保持安全的同时减少对人工监督的依赖。论文指出间接提示注入威胁执行关键动作的智能体，这类防御能通过强制机密性与完整性策略以可证明的方式阻止不安全动作，但目前相比概率性防御会降低任务完成率并增加 token 用量，其减少人工监督的收益被现有评估忽略。自主性指标衡量智能体在保持安全前提下无需人在回路（HITL）审批即可执行的关键动作比例。新设计引入更丰富的人工审批交互，并显式规划任务进度与策略合规，在现有信息流控制防御之上实现，AgentDojo 和 WASP 基准上的实验显示能提高自主性而不牺牲任务完成率。