LlamaFirewall：构建安全 AI Agent 的开源护栏系统
[Daily Paper] LlamaFirewall: An Open Source Guardrail System for Building Secure AI Agents
AI 导读
Meta 开源了 LlamaFirewall，一个面向 AI Agent 的运行时护栏框架，针对三类风险各部署一层护栏。PromptGuard 2 在输入进入 Agent 核心推理前检测越狱与直接提示注入，论文称其在越狱检测基准上达到 SOTA；Agent Alignment Checks 审计 Agent 自身的思维链推理，以发现间接提示注入和目标偏离，论文作者称其仍属实验性，但在通用 Agent 场景下防止间接注入的效果强于此前方法；CodeShield 是实时静态分析引擎，在代码执行或提交前标记硬编码凭证、不安全系统调用和 SQL 注入等问题。框架定位为模型微调与系统提示词之后的最后一道防线，并提供可自定义的扫描器接口，允许开发者用正则表达式或 LLM 提示词添加领域特定检查。