ImplicitBBQ：通过特征线索评测大语言模型的隐性偏见
ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues
AI 导读
研究者提出 ImplicitBBQ，一个通过特征线索评测大语言模型隐性偏见的问答基准，覆盖年龄、性别、地域、宗教、种姓和社会经济地位六个维度。该基准以与人口属性相关联的间接信号替代现有基准使用的姓名代理，后者关联较弱且难以扩展到年龄、社会经济地位等维度。对 11 个模型的评测显示，开放权重模型在模糊情境下的隐性偏见是显性偏见的六倍以上，且在各人口维度分布不均，种姓最严重、性别最轻。安全提示和思维链推理未能显著缩小差距；少样本提示虽将隐性偏见降低 79%，种姓偏见仍达其他维度的四倍。作者认为现有对齐与提示策略只处理了偏见评测的表层，并已公开代码与数据集供评估缓解技术。