VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
Correct Verdicts, Flawed Reasoning: Structured Auditing of LLM-based Vulnerability Reasoning
AI 导读
研究者提出 VERA 框架，用于审计大语言模型在软件漏洞分析中的推理过程。人工审计发现，约 60% 正确的漏洞判定伴随虚构或无法验证的论断，而自由形式的解释让推理错误逃过 LLM-as-a-judge 的评估。VERA 要求模型输出结构化推理记录（SRR），用机器可读字段编码指针追踪、内存操作和状态转换，再由多阶段评审器针对八种推理失败模式做确定性检查，仅在语义解释环节调用 LLM。该标准化模式还支持自动化变异测试，无需人工标注即可大规模评测评审器。评估显示，正确判定与错误判定中出现推理缺陷的频率相当，VERA 能暴露自由形式 LLM-as-a-judge 系统性漏掉的 87% 推理错误。