ProbeLLM：自动化地对 LLM 失败进行有原则诊断
ProbeLLM: Automating Principled Diagnosis of LLM Failures
AI 导读
研究者提出 ProbeLLM，一个与基准无关的自动化探测框架，用于把零散的大语言模型失败案例整合为结构化的失败模式。该框架把探测建模为分层蒙特卡洛树搜索，在有限探测预算下分配全局探索新失败区域与局部细化反复出现的错误模式。它把探测限定在可验证的测试用例上，借助工具增强的生成与验证为失败发现提供证据，再通过失败感知嵌入与边界感知归纳把发现的失败整合为可解释的失败模式。作者称在多种基准和 LLM 上，ProbeLLM 呈现出比静态基准和既有自动化方法更广、更清晰、更细粒度的失败图景，指向从案例中心评测转向有原则的弱点发现。论文编号 arXiv:2602.12966。