DualGauge：联合评测 LLM 与编码智能体仅依据规格生成代码的安全性与功能性
DualGauge: Automated Joint Security-Functionality Benchmarking of Specification-Only Code Generation by LLMs and Coding Agents
AI 导读
论文提出 DualGauge 框架与 DualGauge-Bench 基准，用于自动联合评测 LLM 和编码智能体仅依据自然语言规格生成代码的功能正确性与安全性。基准包含 307 个编程任务，每个任务配有从同一规格派生的功能测试和安全测试。在 10 个代表性 LLM 上，功能正确性会明显高估可靠代码生成，即使最强模型在每种语言中的联合安全与功能成功率也低于 15%。模型规模、扩展思考、量化、指令微调和代码专精等常见因素未能可靠提升联合表现。对 Codex、OpenHands 和 Claude Code 的评测显示，迭代式脚手架在仅规格任务上相较直接生成没有优势，失败集中在输出契约边界和存在但不足的护栏。