安全代码生成有多安全？对抗提示考验 LLM 防御

研究者对三种安全代码生成方法 SVEN、SafeCoder、PromSec 做了系统性对抗审计，发现它们在对抗提示下并不稳健。审计用改写、线索反转和上下文操纵等提示扰动，模拟开发者无意引入或攻击者刻意利用的情况，并在一致条件下用多个分析器和可执行测试同时评估安全性与功能。结果显示静态分析器会把安全性高估 7 到 21 倍，37% 到 60% 的所谓安全输出无法运行，对抗条件下真正既安全又可用的比例降至 3% 到 17%。作者据此提出构建和评估稳健安全代码生成方法的最佳实践。