标签效应：人类与 LLM 评委在信任评估中共享启发式依赖
Label Effects: Shared Heuristic Reliance in Trust Assessment by Humans and LLM-as-a-Judge
AI 导读
研究通过反事实实验发现，人类和 LLM 评委都会给标注为人类撰写的信息更高信任，而相同内容标注为 AI 生成时信任更低。眼动数据显示人类高度依赖来源标签作为判断的启发式线索；模型内部状态显示，各标签条件下模型对标签区域的注意力都高于内容区域，且人类标签下的标签优势更强，AI 标签下由 logits 衡量的决策不确定性更高。作者据此提出，来源标签对两者都是显著启发式线索，这给对标签敏感的 LLM-as-a-Judge 评测带来有效性担忧，并谨慎认为与人类偏好对齐可能把人类的启发式依赖传播到模型中，需要去偏评测与对齐。