跳到正文
原文
论文追踪· arXiv:2511.08225· Yishan Du, Conrad Borchers, Mutlu Cukurova·本站收录· 原文发表

研究者用 600 篇作文对六款大模型的教育反馈性别偏差做基准测试

Benchmarking Educational LLMs with Analytics: A Case Study on Gender Bias in Feedback

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

作者用嵌入距离审计六种LLM作文反馈：隐式男→女均拒绝原假设，显式仅GPT与Llama敏感。

问题
教师用LLM生成作文反馈时，缺少能探测隐式与显式性别线索的教育基准。作者认为这种偏见可能随转发反馈影响公平与学生能动性。
方法
从AES 2.0取600篇作文，做性别词替换和男/女/中性作者背景，对六种LLM反馈计算句嵌入距离，并用5000次置换检验对照未改写再提示。
实验与结果
隐式男→女在六种模型上均拒绝原假设，女→男则否。显式线索仅GPT-5 mini、GPT-4o mini、Llama-3-8B拒绝原假设。作者称男性线索下反馈更支持自主，女性线索下更指令化。
局限与可以继续做的
作者指出机制解释、文化或情境调节、去偏与教师培训仍待做。实验覆盖六种LLM和AES 2.0的600篇作文；未报告同提示重复次数与编码者一致性。
实验设置GPT-5 mini、GPT-4o mini 等 · AES 2.0 · 1-cosine similarity、Euclidean distance 等
被测模型
GPT-5 miniGPT-4o miniDeepSeek-R1DeepSeek-R1-QwenGemini 2.5 ProLlama-3-8B
基准
AES 2.0
指标
1-cosine similarityEuclidean distanceCohen's dpermutation test p-value
AI 导读研究者提出一个基于嵌入向量的基准测试框架，用于检测大语言模型在形成性反馈中的性别偏差，相关方法使用了 AES 2.0 语料库中的 600 篇真实学生作文。研究沿两个维度构造受控反事实：通过基于词表的性别词汇替换制造隐性线索，以及通过提示词中的作者性别背景制造显性线索。测试覆盖六款代表性模型：GPT-5 mini、GPT-4o mini、DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro 和 Llama-3-8B。研究先用余弦距离和欧氏距离在句嵌入上量化回答差异，再通过置换检验评估显著性，最后用降维可视化结构。结果显示，在所有模型中，男性到女性的隐性反事实操作稳定引发比女性到男性更大的语义偏移；只有 GPT 和 Llama 系列模型对显性性别线索表现出敏感性。

研究者提出一个基于嵌入向量的基准测试框架，用于检测大语言模型在形成性反馈中的性别偏差，相关方法使用了 AES 2.0 语料库中的 600 篇真实学生作文。研究沿两个维度构造受控反事实：通过基于词表的性别词汇替换制造隐性线索，以及通过提示词中的作者性别背景制造显性线索。测试覆盖六款代表性模型：GPT-5 mini、GPT-4o mini、DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro 和 Llama-3-8B。研究先用余弦距离和欧氏距离在句嵌入上量化回答差异，再通过置换检验评估显著性，最后用降维可视化结构。结果显示，在所有模型中，男性到女性的隐性反事实操作稳定引发比女性到男性更大的语义偏移；只有 GPT 和 Llama 系列模型对显性性别线索表现出敏感性。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者用嵌入距离与置换检验，审计六种LLM作文反馈对隐式与显式性别线索的不对称响应。

    如何检测LLM对学生作文的形成性反馈，是否会因隐式或显式性别线索产生系统性语义差异。

    • 场景：作者称自动化写作反馈是学习分析的核心方向，教师正用LLM生成及时、个性化反馈。作者引用美国调查，称四分之一教师已用GenAI评估学生作业，并认为性别偏见可能经教育实践放大刻板不平等；教师常很少修改就把AI反馈转给学生。
    • 现有不足：作者称至今没有成熟的教育LLM偏见基准。WEAT及其扩展与任务无关、基于模板，测静态表征而非生成行为；现有做法常只在提示中加入显式性别，缺少反事实。作者称Borchers与Shou（2025）用句嵌入余弦相似度做了反事实评估，但未控制同一输入下输出的随机性。
    • 假设：作者把性别偏见定义为对一种性别的系统性偏好或偏见。除性别外输入一致时，无偏LLM的反馈不应有系统性方差。作者认为作文中的性别主题，以及提示措辞、可读性与文风，都可能使输出偏向部分学习者。
    • 本文提出的框架：用AES 2.0中600篇真实学生作文，沿性别词替换与作者背景构造反事实，对六种LLM的反馈计算句嵌入距离，再做置换检验、降维和定性文本分析，以审计形成性反馈中的性别差异。

  2. 有哪些相关研究？

    作者把本文接在因果公平与句嵌入反事实上，并认为模板式关联检验测的是静态表征。

    教育中的LLM性别偏见

    • Rowe等（2025）的EuroGEST——在30种欧洲语言中，LLM把女性与beautiful、empathetic、tidy关联，把男性与leadership、strength、professionalism关联。Choi与Nixon（2025）在语言内容相同的协作场景中，报告GPT-4o把男性刻板为agentic leaders、女性为communal leaders。
    • Weissburg等（2025）——教育主题固定时，LLM仍按种族、性别、收入等人口属性给出不同解释。Bai等（2024）报告GPT-4在显式防护之后仍有隐式性别关联。论文用这些工作支持“最新模型仍有性别偏见”，未与本文做数值对比。
    • Warr等（2024）、Warr与Oster（2025）——论文转述其结果：GPT-4.0等按学生群体调节语气与被感知专长；优势学习者更多得到鼓励、开放式评论，边缘化学习者更多得到指令性、服从导向反馈。作者另引Cantini等（2024、2025），称性取向等类别防护更强，性别偏见仍缓解不足。

    测量范式与嵌入关联检验

    • Kizilcec与Lee（2022）——教育算法偏见的三类范式：相似、因果、统计。作者认为以反事实一致性操作化的因果公平，更适合人口线索既能显式也能隐式出现的LLM。
    • WEAT（Caliskan等，2017）、SEAT（May等，2019）、CEAT（Guo与Caliskan，2021）用性别词与刻板属性的语义关联量化偏见；StereoSet（Nadeem等，2021）在最小句对或补全任务上评估刻板倾向。作者称WEAT及其扩展与任务无关、基于模板，测的是静态表征而非生成行为。
    • Blodgett等（2020）批评NLP中的偏见测量；Gonen与Goldberg（2019）指出去偏会掩盖而非消除词嵌入里的系统性性别偏见。作者引用这些批评后称，教育评测仍多依赖模板或合成探针。

    反事实与因果分析

    • Borchers与Shou（2025）——在同一教育场景用句嵌入余弦相似度分析模型对上下文变量的行为偏移，用于基准测试辅导适应性。作者称其未控制输出随机性，且尚未用于教育反馈中的性别偏见。
    • Vig等（2020）用因果中介分析调查语言模型的性别偏见。Verma与Rubin（2018）解释公平定义；方法节采用的因果公平范式引用的是这一文献。
    • 论文还提到线性探测只提供相关证据，而反事实干预可以观察输出是否随性别线索改变。这是作者对测量路线的定位，不是被引作者的原话。

    基线与数据

    • 实验没有外部偏见检测器作对照。稳健性基线是M′：对未改写的原作文再次提示，用两次反馈的嵌入距离代表随机性与内容差异。
    • 作文来自AES 2.0，约24,000篇课堂议论文；本研究筛出600篇含性别词汇的样本。替换词表来自Zhao等（2018、2019），共192对。
    • 作者称教育LLM应用缺少既定的性别偏见评估基线。本文的定位是：用真实学生作文而非模板句，同时操纵隐式词汇与显式作者背景，并用置换检验把输出随机性与性别相关偏移分开。

  3. 论文如何解决这个问题？

    以词替换和作者背景做反事实，用嵌入距离相对置换零分布检测反馈是否因性别偏移。

    作者按因果公平做干预：只改性别线索、其余输入保持不变，再看反馈嵌入是否系统偏离。测量工具是text-embedding-3-large，把每条反馈映到3072维；余弦距离取1−cos(θ)，即1减去两向量夹角余弦，用来表示方向上的语义漂移。欧氏距离表示绝对位移。距离更大表示反事实反馈分歧更大。

    两类线索与稳健性对照

    • 隐式：只替换作文中的性别关联词，提示不写作者性别。M vs M-F为300篇原含男性关联词的作文及其女性替换版；F vs F-M为300篇反向替换。词表192对，主要是称谓、代词和职业词；作者称全部替换经过人工检查，以保证语义连贯和语法正确。
    • 显式：600篇作文各配三种作者背景，反馈请求相同。男性条件含男生学校、男性姓名与代词；女性条件含女生学校、女性姓名与代词；中性条件含混合性别学校、中性姓名与they。Table 4给出完整提示句，此处不复述。
    • 稳健性组M′：300篇原文不做性别操纵，再次提交。作者用它同时承接生成随机性和作文内容差异，作为主实验距离的对照。

    模型与生成设置

    • 六种模型为GPT-5 mini、GPT-4o mini、DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro、Llama-3-8B。作者称选择依据是API可得性，以及教育场景里的小蒸馏模型、中等开源模型和专有模型。温度均为默认值，对应不调参的网页式使用。
    • 每模型生成隐式300×2×2条、显式600×3条，基线另有300×2条。论文写合计3,000，未解释该数与各乘数如何对应。流水线改编自Borchers与Shou：构造输入、查询模型、嵌入分析。Figure 2为提示模板，正文未给出模板全文。

    置换检验

    • 原假设是性别线索不改变反馈分布，备择假设是性别线索系统移动反馈。观测统计量Tobs为配对嵌入距离的均值。
    • 零分布把两组合并后随机打乱标签，再拆成等大小伪组，重复B=5000次。双尾p为置换统计量偏离置换均值的程度不低于观测值的比例；p<0.05则拒绝原假设。Cohen's d以0.2、0.5、0.8为小、中、大效应。
    • 作者写明：余弦距离对称，因此不能在实证句与反事实句之间简单对调标签。作者还对M、F、N组合计算了Mahalanobis距离，称与现用指标一致，未给数值。

    定性解释与文本指标

    • t-SNE把高维嵌入投到二维。作者把沿性别组边界分开的簇解释为性别线索移动了反馈的语义空间，并把偏离较大的向量映回原文。
    • 两名研究者独立做反思性主题分析。解释类别是语言偏见（选词、话语标记、句法）和教学偏见（自主性、能力、成长）。定量文本统计从分离簇抽取50个样本。
    • 语言指标包括学术词表比例、具体性常模均值、第一和第二人称相对频率、句类比例。教学指标把自主支持表达与控制性表达的相对频率之差除以总词数，定义为支持度分数。论文报告的是各组频率，不是该分数本身。

  4. 论文做了哪些实验？

    隐式男→女在六模型上p<.001；显式仅GPT与Llama拒绝原假设，Llama-3-8B欧氏d=1.116。

    实验设置

    • 被测模型：GPT-5 mini、GPT-4o mini、DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro、Llama-3-8B。Table 5写作DeepSeek r1、DeepSeek qwen、Llama 3 8B。嵌入模型为text-embedding-3-large，3072维，不是偏见评测对象。
    • 数据：AES 2.0约24,000篇议论文中筛出600篇，性别相关词占词数0.84%。隐式为两组各300篇的双向替换；显式为600篇×男/女/中性；基线为300篇再提示。
    • 对照：无外部检测器。对照是未操纵作文的M与M′。
    • 指标：配对反馈的1-cosine similarity与Euclidean distance；置换检验B=5000的双尾p和Cohen's d。p<0.05拒绝“性别线索不改变反馈”。
    • 判定：无LLM裁判。定性由两名研究者独立完成；文本统计来自50个样本。论文未报告编码者间一致性。
    • 生成：温度默认。论文未报告top-p、随机种子，也未报告同一提示在主条件下的重复生成次数。

    主结果

    下表只摘Table 5的三列。隐式M vs M-F的余弦与欧氏p在六种模型上均为<.001。Tobs−Tperm是相对置换均值的超额，不是绝对余弦距离。

    表格较宽，可左右滑动

    模型隐式M vs M-F余弦超额隐式M vs M-F余弦d显式M vs F欧氏d
    GPT-5 mini0.00940.2570.195
    GPT-4o mini0.00910.2830.580
    DeepSeek-R10.00840.2940.000
    DeepSeek-R1-Qwen0.00760.2810.000
    Gemini 2.5 Pro0.01070.2880.000
    Llama-3-8B0.00750.2691.116
    • 作者称隐式男→女替换在全部模型上应拒绝原假设，效应为小到中等（正文写0.2<d<0.5）；女→男的余弦检验未拒绝原假设。Table 5中F vs F-M余弦p为0.061（Llama-3-8B）至0.325（DeepSeek-R1）。欧氏距离上，作者称Gemini 2.5 Pro与Llama-3-8B为边缘结果；表中二者p为0.046与0.048。作者称Figure 3里M vs M-F的观测值在置换分布右侧，F vs F-M在置换均值左侧。
    • 显式条件下，作者称只有GPT-5 mini、GPT-4o mini、Llama-3-8B在含中性组的比较中p<.001；DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro未拒绝原假设。正文给出的显式效应为0.195、0.58、1.116，对应表中欧氏d（表内GPT-4o mini为0.580）。作者称Figure 4里这三模型的观测值偏右，其余模型贴近置换均值。
    • 作者称M–F效应通常最大，但GPT-4o mini的F–N略高于M–F，二者都在中等范围。Table 5余弦d：F–N为0.680，M–F为0.618。

    稳健性基线

    • 测的是同一批未改写作文的两次反馈（M vs M′，n=300，置换5000次），看随机性或内容差异能否解释主实验偏移。Figure 5给出六模型的1-cosine置换图，图中位置本文不能从转写文本读出。
    • Table 6的1-cosine观测值：GPT-5 mini 0.1610、GPT-4o mini 0.1590、DeepSeek-R1 0.1514、DeepSeek-R1-Qwen 0.1512、Gemini 2.5 Pro 0.2050、Llama-3-8B 0.1766。Tobs−Tperm为-0.0002到0.0003。p分别为0.0356、0.0576、0.6788、0.0530、0.0176、0.0112；Cohen's d为-2.2837、-1.8072、0.0048、0.0045、0.0124、0.0163。
    • 作者称多数基线无统计差异，仅Gemini 2.5 Pro与Llama-3-8B边缘显著，且Cohen's d<0.02，不改变主结论。该表述与Table 6中GPT-5 mini的p和d，以及GPT-4o mini的d=-1.8072不一致。作者未解释很大的d如何与接近0的超额并存。

    嵌入空间可视化

    • 隐式t-SNE（Figure 6）：作者称M vs M-F在全部模型上空间分开，trustworthiness 0.968，KL 1.516；F vs F-M高度重叠，KL 0.9012，trustworthiness 0.9916。图注同样写M vs M-F分开、F vs F-M重叠。
    • 显式（KL 1.133，trustworthiness 0.9938）：图注称GPT-5 mini、GPT-4o mini、Llama-3-8B各组分开，DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro大量重叠。正文称GPT-4o mini与Llama-3-8B的簇最分散。

    文本与教学偏向

    • 作者只用GPT-4o mini和Llama-3-8B作例，样本为分离簇中的50条。女性关联线索下疑问句、感叹句和人称代词更多：GPT-4o mini第一人称F=0.16、M=0.08（每100词）；Llama-3-8B第二人称M=8.54、M-F=15.78（每100词）。男性线索下学术词更多：Llama-3-8B为M=7.95、M-F=7.7（每100词）。
    • Figure 7：Llama-3-8B学术词比例M组0.0795、M-F组0.077；具体性均值M-F 2.349、M 2.338。GPT-4o mini学术词比例M 0.054、F 0.051、N 0.0515；F组具体性均值最高，为2.424。图注称M组的agency support指标高于另两组，controlling指标更低，未给出这些指标的柱高数字。
    • 作者称教学差异在显式条件下更系统。GPT-4o mini自主支持比：M=28、F=27.1、N=25.5（每100词）。作者称男性线索更多模态动词和间接建议，女性线索更多指令式指导；中性提示在结构上更接近男性组，但自主支持最低。Table 7、Table 8有摘录，此处不复述原句。

    其他消融与分析

    • Mahalanobis距离用于M、F、N组合，作者称与余弦、欧氏结果一致，论文未给数值。
    • 论文未报告温度、词表规模或嵌入模型的消融。
    • 负面结果：隐式F vs F-M在余弦距离上六模型均未拒绝原假设；三种模型的显式Cohen's d在Table 5中为0.000。作者称这一男→女与女→男的不对称出乎意料，但在全部模型上一致。

  5. 有什么可以进一步探索的点？

    作者称机制解释、文化情境调节，以及去偏与教师培训仍待做。

    作者指出的局限与后续方向

    • 分析主要量化嵌入分歧并识别文本模式，仍需要更深的语义解释和可解释AI，以找出解释并驱动这些偏见的机制（Discussion，Limitations and future work）。
    • 提示中的文化语境或情境框架在多大程度上调节偏见，尚未探索；作者称现有提示变体框架可供后续研究这些差别（同节）。
    • 发现指出了学习者面临的风险，但把这些发现接到可操作的去偏策略和减轻AI偏见影响的教师培训，仍需要后续工作（同节）。

    实验覆盖范围

    • 被测生成模型为GPT-5 mini、GPT-4o mini、DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro、Llama-3-8B，共6个；反馈嵌入使用text-embedding-3-large。
    • 数据为AES 2.0中600篇含性别词汇的学生议论文，性别词占0.84%；隐式词表192对，显式线索为作者姓名、代词和学校性别构成。
    • 统计为余弦与欧氏距离的配对置换检验，B=5000，p<0.05；另检查了M、F、N的Mahalanobis距离。温度设为各模型默认值。
    • 定性文本统计抽取50个样本，示例模型为GPT-4o mini与Llama-3-8B；主题分析由两名研究者独立完成。
    • 论文未报告同一提示的重复生成次数（M′再提示除外）和编码者间一致性。论文讨论了WEAT、SEAT、CEAT和线性探测，称前者任务无关、后者只提供相关证据；实验未报告与这些方法的数值对照。

  6. 总结一下论文的主要内容

    六种LLM作文反馈对隐式性别替换不对称，显式线索只让部分模型的语义距离变大。

    作者用句嵌入距离和置换检验，给教育场景中的LLM性别偏见审计做一个可计算基准，案例是学生议论文的形成性反馈。

    • 问题：除性别外输入保持不变时，反馈仍可能因作文里的性别用词或提示中的作者背景而变。作者认为教师若很少修改就转发这类反馈，可能影响学生的能动性、能力感和公平。
    • 做法：从AES 2.0取600篇含性别词汇的作文，做男↔女词替换（各300）和男/女/中性作者背景（600×3）。六种LLM以默认温度生成反馈，text-embedding-3-large上计算余弦与欧氏距离，用B=5000的置换检验对照未改写再提示的M′，再用t-SNE和文本指标看差异落在什么语言和教学特征上。
    • 隐式结果：Table 5中M vs M-F六模型的余弦与欧氏p均为<.001，余弦Cohen's d从GPT-5 mini的0.257到DeepSeek-R1的0.294。F vs F-M的余弦p为0.061至0.325，未拒绝原假设。作者称男→女替换引起的语义偏移大于女→男。
    • 显式结果：只有GPT-5 mini、GPT-4o mini、Llama-3-8B拒绝原假设。M vs F的欧氏Cohen's d为0.195、0.580、1.116（Table 5）。DeepSeek-R1、DeepSeek-R1-Qwen、Gemini 2.5 Pro的显式d为0.000。结论写作者信息在3/6个模型上、作文中的性别表达在全部6个模型上可触发有偏反馈。
    • 文本方向：作者称男性线索下反馈更抽象、说明性，并更多支持自主；女性线索下更情感化、互动，也更指令化。GPT-4o mini显式自主支持比为每100词M=28、F=27.1、N=25.5。
    • 作者的结论：作者称M′基线总体上不能解释主实验偏移，但Table 6里GPT-5 mini的p=0.0356、Cohen's d=-2.2837，与正文“d<0.02、仅两模型边缘”不完全一致。作者认为若不审计就部署作文反馈，学习者可能内化有偏评价；摘要称还提出了反事实评估的报告规范和实践提示建议，讨论正文未列出条目。
阅读原文arxiv.org