用信息流控制保障 AI 智能体安全
Securing AI Agents with Information-Flow Control
AI 导读
论文提出用信息流控制(IFC)为 AI 智能体提供抵御提示注入等漏洞的安全保证。作者构建了刻画智能体规划器安全性与表达力的形式化模型,界定了动态污点跟踪可执行的安全性质类别,并设计任务分类法来衡量不同规划器在安全与效用间的权衡。在此基础上提出的规划器 Fides 跟踪机密性与完整性标签、确定性地执行安全策略,并引入选择性隐藏信息的新原语;在 AgentDojo 基准上的评测显示,该方法能在带安全保证的情况下完成较广范围的任务。配套教程见 https://github.com/microsoft/fides。
相关热点
1 个事件 · 3 条新闻提到
提到这篇论文的新闻
- Microsoft引用了论文编号或链接Microsoft 防御间接提示注入攻击指南:以纵深防御叠加多层缓解措施
Securing AI agents with information flow control
微软构建信任感知控制应对间接提示注入
- Microsoft Windows Developer Blog引用了论文编号或链接微软构建信任感知的 AI 控制:区分处理不可信内容
研究論文をご覧ください。
- Microsoft Community Hub引用了论文编号或链接Microsoft 如何为 M365 Copilot 构建信任感知控制,差异化处理不可信内容