多智能体辩论蒸馏中认知可靠性的黑盒审计
Black-Box Auditing of Epistemic Reliability in Multi-Agent Debate Distillation
AI 导读
研究者提出两阶段黑盒审计框架 ER-Audit，用于检测多智能体辩论蒸馏中的认知可靠性退化，即适配在保持受监控任务表现的同时，降低验证器对隐藏任务正确回答的支持。论文考虑一种对抗性辩手，在为受监控任务的正确回答辩护的同时操纵辩论论证。ER-Audit 对比适配前后冻结的验证器检查点，先通过语义有效的改写搜索非退化的反例，若无反例再用独立改写进行序贯假设检验，并推导非退化概率的 anytime-valid 置信下界，支持有限预算内依据数据停止。团队同时发布两个将受监控与隐藏任务提示基于共享上下文配对的评测基准，代码与基准已在 GitHub 开源。实验显示更高的隐藏任务准确率可与更多非退化反例、更低的非退化下界并存，这一分歧挑战了仅用灾难性遗忘的解释，表明审计能发现被聚合性能提升掩盖的隐藏任务选择性退化。