基准测试大语言模型对偏见诱导的对抗鲁棒性：以 LLM-as-a-Judge 实现可扩展自动化评估
[Daily Paper] Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge
AI summary
Cantini 等人的论文提出 CLEAR-Bias，一个用于评估大语言模型对偏见诱导对抗鲁棒性的可扩展基准框架。该框架分三阶段：多任务社会文化探测、用 LLM-as-a-Judge 自动评分，以及对安全机制施加越狱压力测试。论文报告模型规模与对抗偏见鲁棒性并非单调相关，部分规模较小但经过调优的模型在系统对抗压力下表现更好；针对医疗等领域微调也可能引入或放大特定偏见漏洞。作者同时发布 CLEAR-Bias 数据集，供后续研究复现并评测新模型。