跳到正文
原文
公众号 为机器立心·本站收录· 原文发表· 攻击 →· 扫描记录里的位置 →精选关注度43

伯克利等在USENIX Security 2026提出可控释放提示词攻击,大模型前置过滤存在底层硬伤

USENIX Security 2026|伯克利:一种 “可控释放提示词” 攻击曝光!大模型前置安全过滤器存在底层硬伤

AI 导读

伯克利等机构研究者在USENIX Security 2026论文中提出可控释放提示词攻击,把越狱指令编码成轻量守护模型解不开、主模型却能解密的伪时间锁谜题,绕过大模型前置输入过滤。在Gemini 2.5 Flash、DeepSeek Chat、xAI Grok、Mistral Le Chat网页版黑盒测试中,定时释放变体对前三者成功率达100%,Mistral为92%。对14款开源防护模型共4000条样本的测评显示,几十M至2B的轻量分类器几乎全部失效,DeepSeek-R1能识别但延迟增加3-70倍。文章分析认为ChatGPT、Claude、Meta产品依靠输出侧检测抵御了攻击,并提示思维链中间内容泄露、从Gemini提取版权儿童读物(相似度最高94%)等次生风险,建议转向多层纵深防御。

推荐理由

论文实测多款商用产品的前置过滤可被高成功率绕过,依赖轻量守护模型的团队可据此审视多层防御。

阅读原文mp.weixin.qq.com