护栏起效了，但 LLM 系统更安全了吗？

论文提出以部署服务在攻击者持续适应或另寻途径时仍能提供多少有害任务帮助为统一标准，解读护栏评测结果，使不同护栏家族的结果可比较。作者论证证据要求高度不对称，一次从部署服务获得有害帮助的攻击足以证明此类帮助仍存在，而要证明所剩无几，仅凭护栏自身的拒答率、攻击成功率和政策违规率不够，还需护栏完成局部功能后周边系统仍允许什么的证据，这类证据在按深度编码的论断中只占少数，仅一条论断给出了其范围内的残余上界。论文结论是更好的局部分数本身不构成对部署更强的安全主张，护栏研究不能止步于提高局部分数。