效率幻觉:形式化并测量大语言模型代码优化中的行为校准
Efficiency Hallucination: Formalizing and Measuring Behavioral Calibration in LLM-Based Code Optimization
AI 导读
研究者提出“效率幻觉”概念,指大语言模型在已优化代码上做出无实际效果的修改并附带无依据的性能声明。其驱动因素是“评估陷阱”,即二元基准激励模型进行不必要的修改而非安全弃权。研究用分类惩罚方法构建验证框架,在 EffiBench 上对来自 GPT、Claude、Gemini 的九个模型进行了 180 次优化运行评测。标准提示词下,模型对已优化代码的过度修改率为 100%;研究者提出的护栏将正确弃权率从 0% 提升到 44.4%,同时保持对次优代码 100% 的修改率且零错误弃权。校准程度不均,GPT-5.4 Mini 接近完美弃权,简单代码比复杂代码更易被正确识别。