GradingAttack: Revealing Security Vulnerabilities in LLM-Based Educational Grading Agents

基于LLM的ASAG评分智能体可能被对抗输入改到指定分数，同时整体准确率变化很小。

• 场景：作者称评分智能体在开放环境中自主评分，影响学习结果与评价公平。引言引用大学期间考试或作业作弊比例70-86%（Whitley, 1998; Klein et al., 2007）。
• 现有不足：作者称通用越狱主要诱导有害输出，没有处理评分场景里改分数、但不触发明显有害内容检测的问题。传统ASAG可被关键词堆砌或细微改写欺骗；作者称LLM评分智能体更复杂，相关研究更少。
• 核心设定：伪装攻击要求G输出指定评分，且攻击后与攻击前准确率之比趋近1。作者认为只用ASR看不出伪装，因此定义CAS。
• 本文提出：GradingAttack，含token级与prompt级策略。作者称这是面向LLM教育评分智能体的首个系统性安全评估框架。
• 威胁模型：
  • 目标：使G输出r_target，并使准确率比趋近1；不追求明显有害输出。
  • 受害系统：提示工程搭建的ASAG评分智能体。交互是五元组，含学生、题目、学生答案、解答和评分；r=1为正确，r=0为不正确。
  • 能力：构造对抗评分提示词。token级在提示词后优化后缀；prompt级改写提示词，GradingAttackRole嵌入角色扮演内容。Figure 5比较该内容相对学生答案或整段提示词的位置。
  • 知识：论文未写明攻击者能否看到权重。token级优化和第4.3节的评估会使用针对r_target的损失，以及该损失对对抗提示词的梯度。

论文Related Work分三块，实验节另列基线。

智能体安全

• Xi et al. (2025)、Wang et al. (2024)：综述大模型智能体的兴起、潜力，以及基于LLM的自主智能体。
• Greshake et al. (2023) 研究间接提示注入；Liu et al. (2024c) 研究自动且通用的提示注入。作者称开放环境中的威胁还包括对抗输入，以及与外部交互带来的脆弱性。
• 作者称LLM教育智能体的安全仍少有研究，本文评估评分智能体以补这一缺口。

评分系统上的对抗

• Burrows et al. (2015)、Bonthu et al. (2021)、Putnikovic与Jovanovic (2023)：综述ASAG及相关嵌入方法，论文用作任务背景。
• Ding et al. (2020) 用随机字符、打乱词序和生成模型输出欺骗ASAG；作者转述其发现为简单对抗也能明显降低准确率。Filighera et al. (2020) 描述堆砌相关关键词的作弊方式。
• Filighera et al. (2024) 以黑盒方式向错误答案插入形容词和副词，欺骗BERT与T5，并称人类评分者检出率低。Laarmann-Quante et al. (2024) 用n-gram采样和形容词插入构建多语言对抗数据。

LLM越狱

• Zou et al. (2023) 的GCG用贪心坐标梯度生成对抗后缀，绕过对齐并引出不当输出，文中提到ChatGPT。Xu et al. (2023) 被用来界定越狱。
• Liu et al. (2024a) 用两阶段迁移提高搜索效率与可迁移性；Zhang与Wei (2024) 加入动量梯度更新。
• Liu et al. (2023) 用手工提示工程绕过安全过滤；Wei et al. (2023) 把攻击改写成少量上下文示例以诱导有害输出。作者称对齐后的LLM仍易被对抗操纵。

基线与数据集

• 基线为GCG、DeGCG、AutoDAN（Liu et al., 2024b，分层遗传算法）、ICA的1-shot/3-shot/5-shot（Wei et al., 2023）、Virtual Context（Zhou et al., 2024，用特殊token让模型把用户输入当成自身生成）。数据集为GAOKAO23、MATH、GSM8K、SciEntsBank、Math23K。

作者称与这些工作的差别是：对象换成LLM评分智能体，目标是改评分而不是产生明确有害响应。作者称GradingAttack是首个面向这类智能体的系统性安全评估框架。

GradingAttack把通用对抗攻击对齐到评分场景：生成对抗提示词，使评分智能体给出指定结果，同时整体准确率变化很小。框架分输入对齐、对抗提示词生成和攻击评估（Figure 2）。

问题设定与CAS

• 一次交互是五元组⟨s, q, as, aq, r⟩，分别是学生、题目、学生答案、解答和评分。伪装要求攻击后与攻击前准确率之比趋近1。
• 作者认为该比单独使用不够：相同比值可以对应差别很大的ASR，且比值集中在1附近。他们用标准Beta分布建模该比，并乘上加权ASR。
• 定义为CAS = A_ASR^γ · π^α−1(1−π)^β−1 / Beta(α,β)。π取min(c, A_after/A_before)，A_ASR表示ASR。本文取α=0.5、β=0.5、γ=0.5、c=0.99。作者称构造受Vargas与Hervás-Martínez (2022)启发。

评分输入对齐

• 通用攻击常以有害行为为输入。评分攻击要指定评分，而不是明显有害输出。规则f_prompt把题目、解答和学生答案组成评分提示词P。
• Figure 1与Figure 2中，提示词要求逐步对比解答与学生答案，再给出正确或不正确判定。

对抗提示词生成

• token级：P′为P拼接后缀f(P)。不同f对应不同损失，共同目标是在词表中选择token，使G(P′)相对r_target的损失变小。GCG可纳入该框架，损失为负对数概率−log p(r_target | G(P′))，逐步替换后缀token。实验中后缀长20个token，优化迭代上限500。
• prompt级：P′=g(P)，在g生成的提示词中最大化目标评分的概率。GradingAttackRole把角色扮演内容嵌入提示词，文中示例是作为后缀拼接。第4.2节的示例把输出导向“判为正确”；该节给出了完整角色扮演文本。一般的prompt级目标仍写成任意r_target。

评估与判定

• 评估模块用P′查询G并记录响应。token级还会收集损失对P′的梯度。
• ASR是生成响应中包含目标评分结果的比例。作者称CAS越高，表示攻击越有效且越有伪装。
• 第4.5节强调：评分攻击要翻转标签并保持整体准确率，同时不产生可见有害内容；这些策略统一在GradingAttack中。

实验设置

• 目标模型：Qwen2.5-7B、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct、DeepSeek-7B-Chat、InternLM2.5-7B-Chat。Figure 1另用ChatGPT-4.5做示意（2025-08-01，官网页面），未进入Table 1。
• 数据：GAOKAO23用2023年高考数学应用题子集；MATH为高中竞赛题；GSM8K为小学应用题；SciEntsBank含15个科学领域的题目与学生答案；Math23K为中文小学应用题。除SciEntsBank外，论文称这些数据集没有学生答案。
• 学生答案：GAOKAO23、MATH、GSM8K、Math23K由42个LLM充当虚拟学生生成回答。论文未给出这42个模型的名称，也未报告各数据集题量。
• 基线：GCG（记为GradingAttackGCG）、DeGCG、AutoDAN、ICA（1-shot、3-shot、5-shot）、Virtual Context，以及GradingAttackRole。后续深入分析选用GCG与Role。
• 指标：ASR为响应包含目标评分结果的比例；CAS参数固定为α=β=γ=0.5、c=0.99。论文未写LLM裁判、人工判定或一致性。
• 解码：max length 1024，temperature 0，top-k 1，top-p 0，seed 42。四节点各8块A100，累计至少300小时。论文未报告重复次数和对目标模型的查询次数。

主结果

下表为Table 1的ASR。未列入MATH、GSM8K，也未列入CAS。ChatGPT-4.5未报告。

Swipe horizontally to read the table

目标模型	Role ASR GAOKAO23	Role ASR SciEntsBank	Role ASR Math23K	GCG ASR GAOKAO23	GCG ASR SciEntsBank
Qwen2.5-7B	0.0034	0.0322	0.0805	0.0155	0.0484
Qwen2.5-7B-Instruct	0.6166	0.7643	0.5285	0.1080	0.0920
Qwen2.5-14B-Instruct	0.9894	0.9991	0.9873	0.0354	0.0723
Llama-3.1-8B-Instruct	0.4931	0.0543	0.5429	0.1648	0.1465
Mistral-7B-Instruct	0.3150	0.3064	0.6121	0.3279	0.2556
DeepSeek-7B-Chat	0.4018	0.2756	0.3865	0.2875	0.2377
InternLM2.5-7B-Chat	0.2641	0.2570	0.2944	0.1997	0.2148

• 作者称prompt级在五个数据集上平均ASR更高，并认为原因是LLM更能按攻击目标理解提示词。Table 1平均ASR：Role为0.4405、0.4871、0.4328、0.3841、0.4903，GCG为0.1627、0.1620、0.2017、0.1525、0.2751（顺序为GAOKAO23、MATH、GSM8K、SciEntsBank、Math23K）。这是平均行的比较。上表GAOKAO23与SciEntsBank列中，Qwen2.5-7B的Role低于GCG；SciEntsBank上Llama-3.1-8B-Instruct同样如此。
• 作者称token级伪装更好，因为更不容易靠准确率检查发现。同一顺序的平均CAS：GCG为0.5130、0.5667、1.3252、1.0117、0.9124，Role为0.4721、0.5265、1.2276、0.8383、0.7772。逐模型有反例：GAOKAO23上Qwen2.5-14B-Instruct的Role CAS为0.7006，高于GCG的0.6019。
• 作者称Qwen2.5系列更抵抗token级攻击，但其Instruct模型更易受prompt级影响，并认为原因是更倾向服从角色扮演提示。Table 1中Qwen2.5-14B-Instruct的Role ASR在MATH、GSM8K上为0.9890、0.9813；Qwen2.5-7B的Role ASR在这两处为0.0215、0.0052。Math23K上Mistral-7B-Instruct的GCG ASR为0.5369。

与其他攻击方法的比较

• Figure 3比较token级（DeGCG、GCG）与prompt级方法。左图是原本错误标签被改判为正确的比例变化，右图是ASR。论文未说明是否为七个模型的平均。
• 作者对Figure 3的描述：Math23K上GCG的标签变化超过0.15、ASR超过0.35；GAOKAO23上GradingAttackRole的标签变化超过0.35、ASR约为0.50。Table 1里Role在GAOKAO23的平均ASR是0.4405，与“约为0.50”不是同一写法。
• 作者称GCG的雷达图面积大于DeGCG，Role大于AutoDAN、ICA和Virtual Context，因此后文只分析GCG与Role。作者认为脆弱性可能是因为智能体没有针对评分威胁对齐，通用安全对齐不够。正文未给出DeGCG、AutoDAN、ICA、Virtual Context的精确读数。

攻击标签方向

• Figure 4比较只把错误改成正确（Incorrect => Correct）与双向翻转（Incorrect <=> Correct）。论文未说明用的是哪种攻击、是否对模型平均，正文也没有柱高数字。
• 作者称双向攻击的CAS和ASR更高，并举GAOKAO23的CAS、SciEntsBank的ASR为例。
• 作者认为原因是攻击范围扩大后标签翻转更多，成功率上升，同时准确率变化不那么显眼。

角色扮演字符串的位置

• Figure 5只针对GradingAttackRole。R、S、P分别是角色扮演字符串、学生答案和评分提示词，顺序表示相对位置。作者称放在评分提示词首尾（R-P-R）或仅末尾（P-R）更好，并认为这样模型更可能识别角色扮演线索。
• 正文给出GAOKAO23的ASR：R-S 0.1479、R-S-R 0.2058、S-R 0.2954、R-P 0.1893、R-P-R 0.4904、P-R 0.4931。Figure 5把后两格标成0.49、0.49。
• Figure 5其余标注：SciEntsBank的R-P-R为0.71、P-R为0.05，P-R低于同数据集R-P的0.25；GSM8K的R-P-R为0.36、P-R为0.22；MATH的P-R为0.47、R-P-R为0.44；Math23K的R-P-R为0.69、P-R为0.54。作者关于“仅放末尾也更好”的概括，与SciEntsBank的P-R一格不一致，论文未解释该格。

其他消融与分析

• ICA有1-shot、3-shot、5-shot，正文未分项给出ASR或CAS。
• CAS的α、β、γ、c固定，论文未报告对这四个参数的对比。
• 后缀长度20与迭代上限500是固定设置，论文未报告二者的对比。

作者指出的局限与后续方向

论文未专门讨论局限。第6节只强调部署时要考虑对抗威胁，没有列出未完成事项。Ethics Statement写了滥用风险，并称将在公开发布前通知相关教育技术提供方；这是研究做法说明，不是局限清单。

实验覆盖范围

• 主实验目标模型为第5.2节的7个开源LLM；Figure 1另有ChatGPT-4.5的攻击示意，该模型不在Table 1。
• 数据集为GAOKAO23、MATH、GSM8K、SciEntsBank、Math23K。除SciEntsBank外，学生答案由42个未点名LLM生成（第5.4节）。
• 指标为ASR与CAS。token级后缀为20个token，优化迭代上限500。解码为temperature 0、top-k 1、top-p 0、seed 42。
• 比较过的攻击为GCG、DeGCG、AutoDAN、ICA（1/3/5-shot）、Virtual Context与GradingAttackRole。Table 1只展开GCG与Role；Figure 4未说明所用攻击。
• 论文未报告各数据集题量、重复次数、对目标模型的查询次数、42个生成模型的名称、攻击前后的原始准确率，以及人工检出或防御方法上的结果；也未说明Figure 3是否对七个模型平均。

GradingAttack评估开放环境中的LLM简答评分智能体能否被改到指定分数，同时让整体准确率变化保持很小。

问题来自评价公平：通用越狱主要诱导有害内容，不针对改分数且不产生明显有害输出。受害系统是提示工程搭建的ASAG评分智能体；交互包含学生、题目、学生答案、解答和正确/不正确评分。

方法先把题目、解答和学生答案对齐成评分提示词。token级在其后优化20个token的后缀，迭代上限500，并用损失梯度选token。prompt级直接改写提示词，GradingAttackRole嵌入角色扮演内容，第4.2节示例把判定导向正确。ASR看响应是否包含目标评分；CAS把ASR与攻击前后准确率比合在一起，α、β、γ均为0.5，c为0.99。

• Table 1七模型平均：Role的ASR在GAOKAO23、MATH、GSM8K、SciEntsBank、Math23K上为0.4405、0.4871、0.4328、0.3841、0.4903，高于GCG的0.1627、0.1620、0.2017、0.1525、0.2751。逐模型有反例，例如Qwen2.5-7B。
• 同一顺序的平均CAS是GCG更高：0.5130、0.5667、1.3252、1.0117、0.9124，对比Role的0.4721、0.5265、1.2276、0.8383、0.7772。逐模型同样有反例。
• Qwen2.5-14B-Instruct的Role ASR为0.9894、0.9890、0.9813、0.9991、0.9873；Qwen2.5-7B在GAOKAO23上的Role ASR为0.0034。
• 作者称同时翻转正确与错误标签时CAS和ASR更高，但未给出Figure 4的读数，也未说明所用攻击。角色串放在提示词首尾或仅末尾时，正文中GAOKAO23的ASR为0.4904与0.4931；Figure 5里SciEntsBank的仅末尾放置为0.05。

作者称prompt级成功率更高、token级伪装更好，并称当前评分智能体缺少针对此类攻击的防御。作者计划在公开发布前通知相关教育技术提供方。