通过追问查询预测黑盒大语言模型的性能
Predicting the Performance of Black-box LLMs through Follow-up Queries
AI 导读
一篇 arXiv 论文提出通过向黑盒大语言模型提出追问、把回答的概率当作表征来训练线性预测器，以预测模型行为。作者称该方法能可靠预测模型在问答与推理基准上的正确性，甚至优于基于模型内部激活或内部状态的白盒线性预测器。该方法还能区分正常模型与经系统提示被对抗性影响、故意答错或在生成代码中引入 bug 的模型，并可辨别不同黑盒模型，识别通过 API 提供的被冒名替换的模型。作者认为这有助于监控黑盒语言模型行为，支持其在更大规模自主系统中的部署。