跳到正文
原文
arXiv· arXiv:2505.03574· Sahana Chennabasappa, Cyrus Nikolaidis, Daniel Song, David Molnar, Stephanie Ding, Shengye Wan, Spencer Whitman, Lauren Deason, Nicholas Doucette, Abraham Montilla, Alekhya Gampa, Beto de Paola, Dominik Gabi, James Crnkovich, Jean-Christophe Testud, Kat He, Rashnil Chaturvedi, Wu Zhou, Joshua Saxe·本站收录· 原文发表

LlamaFirewall:用于构建安全 AI 智能体的开源护栏系统

LlamaFirewall: An open source guardrail system for building secure AI agents

AI 导读

论文作者提出 LlamaFirewall,一个用于构建安全 AI 智能体的开源护栏框架,作为 AI 智能体风险防护的最后一道防线。它包含三个护栏:PromptGuard 2 是作者称达到明显领先性能的通用越狱检测器;Agent Alignment Checks 通过审查智能体思维链来发现提示注入和目标偏离,仍属实验性;CodeShield 是快速可扩展的在线静态分析引擎,用于阻止编码 Agent 生成不安全或危险代码。框架还提供可自定义扫描器,开发者用正则表达式或 LLM 提示词即可更新护栏。

阅读原文arxiv.org