研究：九种 LLM 说服力评测方法排名仅弱相关

一项研究把九种已发表的自动化说服力评测方法统一到同一实验设置，在同样的十五个 LLM 上运行，检验它们的模型排名是否一致。结果显示各方法仅弱相关，平均 Spearman ρ 为 0.25。作者分析出两个因素：模型对部分任务拒答、对另一些不拒答，会使一致性下降约四分之一，且拒答主要出现在操纵类任务上；通用能力也有影响，多数理性说服（非操纵）方法会跟随通用能力，而多数操纵类方法不会。作者据此认为，一致性更多取决于方法设定的任务，而非打分方式，并指出说服力分数混合了模型的说服能力与说服意愿，单一分数只在其自身设定下有参考意义。