言语胜过代码:LLM 代码漏洞检测中的认知启发式研究
Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
AI 导读
研究者发现,八个大语言模型在代码漏洞检测中都会受认知启发式影响,只改变代码周围的上下文就能左右判定结果。他们提出受控框架,通过作者署名触发光环效应、任务目标与后果触发框架效应、先前分析结果触发锚定效应,在三种编程语言上测试。跨模型平均易感率以框架效应最高,为 33.2%,锚定效应 23.5%,光环效应 18.4%。需要语义推理才能发现的漏洞比可通过模式匹配识别的漏洞更易受影响,模型常把判定从安全改为存在漏洞,却未准确指出真实漏洞。作者还演示了黑盒认知攻击的概念验证,最多可抑制 97% 此前已检出的漏洞。