评测与基准arXiv 2610.02303
PowerBench 评测 24 个模型在权力转移请求上的偏见
提出 PowerBench，测量模型对权力转移请求的拒答偏见
- arXiv
- 2610.02303
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- grok-4.3、haiku-4.5、nova-2-lite 等18个
- 风险偏见与歧视
摘要作者报告拒答随 SE/DE/PG 变化，并存在针对美国失权、智能体和语言的差。
- 评测与基准arXiv 2609.39025
面向算法公平性的 Rank Graduation 指标
提出 Rank Graduation Fairness 指标，检验群体间预测误差负担是否可比
- arXiv
- 2609.39025
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- logistic regression、random forest、gradient boosting 等4个
- 风险偏见与歧视
摘要用误差排序、置换检验和特征移除评估信贷公平，HMDA 上四模型均拒绝零假设。
用预测误差的排序分布、置换检验和特征移除，评估信贷模型在受保护群体间的公平。。
- 评测与基准arXiv 2609.38106
剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异
测量剪枝对语音 LLM 群体转写公平性的影响
- arXiv
- 2609.38106
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Whisper Small (12 layers)、Whisper Medium (24 layers)、Whisper Large-v2 (32 layers)
摘要剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。
- 评测与基准arXiv 2608.11816
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
- arXiv
- 2608.11816
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等9个
摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。
- 评测与基准arXiv 2603.08275
AdaCultureSafe：LLM 文化安全与文化知识存在显著解耦
构建 AdaCultureSafe 配对评测文化知识与文化安全
- arXiv
- 2603.08275
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama3.1-8B、Mistral-7B、Qwen2.5-7B 等7个
- 风险偏见与歧视
摘要配对评测中知识与安全脱钩，知识锚定 DPO 抬高了 Respect。
AdaCultureSafe 把同一条地区文化做成“是否知道”和“是否尊重”两套查询，用来看安全有没有用上知识，并用偏好训练把回答往“尊重且用上知识”拉。
- 评测与基准arXiv 2511.08225
研究者用 600 篇作文对六款大模型的教育反馈性别偏差做基准测试
用反事实与嵌入距离评测作文反馈的性别偏差
- arXiv
- 2511.08225
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- GPT-5 mini、GPT-4o mini、DeepSeek-R1 等6个
- 风险偏见与歧视
摘要六种 LLM 作文反馈对隐式性别替换不对称，显式线索只让部分模型的语义距离变大。
作者用句嵌入距离和置换检验，给教育场景中的 LLM 性别偏见审计做一个可计算基准，案例是学生议论文的形成性反馈。
- 评测与基准arXiv 2510.08776
研究评测前沿模型多语言道德回答：GPT-5 平均表现最好，Gemini 2.5 Pro 在部分类别最低
评测多语言下模型的道德回答与安全拒答一致性
- arXiv
- 2510.08776
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemini 2.5 Pro、Claude Sonnet 4、GPT-5 等5个
- 风险拒答失当
已经到底了