如何在五分钟内为 LiteLLM 接入 0DIN Defense
Bring 0DIN Defense to LiteLLM in Five Minutes
AI 导读
0DIN 发布 litellm-shield 插件，可将护栏分类器 SusFactor 作为 LiteLLM 代理的自定义护栏运行，安装一条 pip 命令即可在 flag 模式下启用。SusFactor 对每个提示词打分以拦截提示注入和越狱，支持 block、flag（默认）、shadow 三种模式，并接入 Langfuse、Datadog、OTel 等可观测性栈。它挂载在 during_call 阶段与模型调用并行执行，分类器中位延迟约 15.6ms、P95 23.9ms、P99 26.5ms，全部在 CPU 上运行，默认失败开放。