DualSentinel:基于双熵低谷模式的黑盒 LLM 定向攻击轻量检测框架
DualSentinel: A Lightweight Framework for Detecting Targeted Attacks in Black-box LLM via Dual Entropy Lull Pattern
AI 导读
研究者提出 DualSentinel,一个面向黑盒 LLM 的轻量防御框架,用于在生成过程中检测后门和提示注入等定向攻击是否被激活。研究观察到,当定向攻击成功劫持生成过程时,模型会出现 token 概率熵异常低且稳定的“Entropy Lull”,表现为沿固定路径生成而非进行创造性选择。DualSentinel 先通过感知幅度与趋势的监控方法在推理时标记该模式,再触发基于任务翻转的二次验证,只有原任务和翻转任务都持续出现熵低谷模式才确认攻击。评估称该框架检测准确率高、误报接近零且额外开销可忽略,源代码已公开。