跳到正文
原文
Failure-First·本站收录· 原文发表

当防御站错楼层:系统提示词安全为何挡不住人格劫持

When Your Defense Is on the Wrong Floor: Why System-Prompt Safety Fails Against Persona Hijacking

AI 导读

Failure-First 的实验显示,一套在标准攻击上把攻击成功率从 33% 降到 3% 的系统提示词防御,面对 L1B3RT4S 人格劫持攻击时效果为零,两种条件下结果完全相同,6 个场景中均为 3 次顺从、3 次拒答。测试在 Nemotron-3-Super(经 Ollama Cloud)上进行;作者称防御与攻击同处系统提示词这一权限层级,后到的指令会覆盖先到的防御。作者据此主张采用指令层级(instruction hierarchy),让应用开发者设定的系统提示词内容无法被用户轮次的内容覆盖,并提到 Anthropic、OpenAI、Google 已有相关研究但实现仍不完整。作者也说明样本量小、置信区间宽,该防御绕过结果只在一个模型上验证。

阅读原文failurefirst.org