研究提出人机审计协作框架 HAAC，并在对话购物 Agent 上验证

如何在用户参与的生成式AI审计中分配人与智能体的工作，才能扩大覆盖而不挤掉情境判断，并让下游实践者能够核验和行动。

• 为何重要： 作者称失败包括提示注入、有害或幻觉内容、数据泄露和绕过过滤，且有害与否取决于提问者及用途。无界输入、红队资源不足和构思有害场景的心理负担，使纯人工审计难以覆盖。
• 现有不足： 作者称全自动红队会忽略领域危害，并可能复现模型盲点；情境判断正是模型不可靠处。既有人机系统多只支援单一活动，实践者如何使用结果也缺少研究。
• 设计依据： 作者把协助的结构分配当作显式设计依据。角色来自用户参与式审计的分工，并经四个月、15次、三名电商实践者咨询修订。
• 本文做法： 提出HAAC：三段流程，活动分自动化、增强或保留给人，并在购物智能体上用两项研究检验。
• 审计设定： 审计者在Audit Lab自选商品与失败类型并提交报告。论文未用white-box或black-box描述其知识。成功取审计者终审，不是独立真值。

全自动红队

• Perez等（2022）与GOAT（Pavlova等，2025）： 用语言模型生成对抗提示、评估输出并调整策略。本文称此类系统可扩展，但难以捕捉情境、会忽略领域危害，并可能复现被测模型盲点。
• 红队实践研究（Bullwinkel等，2025；Feffer等，2025）： 本文引其指出自动化能扩大覆盖和风险类别，但缺少识别现实危害所需的情境与伦理推理，因而指向混合方法。

单点人机协助

• Rastogi等（2023）、AART（Radharapu等，2023）、Amplio（Yeh等，2025）、Vipera（Huang等，2025）、PersonaTeaming（Deng等，2025）： 分别帮助反思失败类别、生成多样对抗数据、填补安全数据集空白、组织审计方向，或用人格变异塑造探索。本文称它们多在某一环节引入AI，较少把全程分工当作设计问题。

用户参与式审计

• WeAudit（Deng等，2025）与分工分析（Li等，2023）： 把审计写成Investigate与Deliberate，角色包括探索、检查、审议、报告。本文点名三点差别：WeAudit靠其他审计者互助，HAAC在探索、反思、报告放置智能体并规定权限；WeAudit交付单份报告，HAAC用Synthesizer汇总并研究实践者需要什么；WeAudit整体部署评估，HAAC对照无智能体版本以分离工作流与智能体的效应。
• 公开参与工具： IndieLabel、MIRAGE、Twitter算法偏差赏金、DEF CON生成式红队（超过2000人）、OpenAI Red Teaming Network、RedTeam Arena、Adversarial Nibbler。论文此处只描述其扩大参与或并排比较输出，未逐一对照HAAC。

电商生成式AI与实验基线

• 电商文献： 作者举平台生成商品内容、消费者信任与卖家合规等研究，并称这些工作多考察感知、采用或回应，而不是如何系统暴露并评估失败。
• 基线与环境： Study 1的基线是同一Audit Lab、去掉三个会话智能体；界面与任务结构其余保持不变。评测对象是作者开发的对话式购物智能体，论文未使用命名公开基准。

作者将HAAC定位为：在完整审计周期上显式分配自动化、增强与保留给人，并追问实践者如何使用汇总记录。

HAAC把用户参与式审计的角色分成自动化、增强和保留给人，并用Audit Lab与Practitioner Dashboard落地到作者开发的对话式购物智能体。

三阶段与三级参与

• Investigate： 探索由Scenario Generator增强；检查回复并决定继续、转向或停止，保留给审计者。
• Deliberate： Detector标出候选失败，Report Generator起草报告；是否构成失败、提交什么，由审计者终裁。
• Interpret： Synthesizer自动按维度汇总；哪些发现值得跟进，保留给实践者。
• 设计地位： 作者称该分配是设计依据，不是唯一定论，替代配置是可能的。Table 1汇总阶段、角色和参与级别。

两套分类

• 失败类型： 八类，供Detector检查、审计者标注：Safety、Bias、Hallucination、Privacy、Guardrail Failure、Manipulation、Constraint Violation、Overconfidence。前五类改编自通用模型与智能体危害，后两类来自电商与任务型智能体，Overconfidence单独列出。
• 攻击策略： 按探针试图影响的方面分五组：虚假合法性、虚假前提、施压以求服从、角色与约束漂移、测量而非操纵。正文称十二种策略；Table 3列出11种具名策略，无法归入者标为Other。生成探针带策略标签，自写探针事后标注。
• 多轮： Constraint Erosion、Paired Demographic Probing以及常常出现的Persona Override，作者称不能只靠单条消息覆盖。

会话内三个智能体

• Scenario Generator： 输入人设、商品、目标失败类型，以及策略到失败类型的对照和相关示例，返回三条带策略与一句理由的候选探针。审计者可照用、修改、丢弃或另写。
• Detector： 对话结束后读完整转录，标出失败类型、所在轮次和风险（Low到Critical）。审计者确认或驳回。作者称这是把“注意到”和“判定是否失败”分开。
• Report Generator： 依据转录、Detector分析和审计者反思起草报告，含探针、输出、失败类型、严重度和建议行动。审计者可改文本、结论和标签后再提交。
• 可选建议器： Persona、Product、Failure Mode三个建议器只帮助填写生成器输入，不是独立HAAC智能体。

仪表盘与实现

• Synthesizer： 按攻击策略、失败类型和商品类目分组并填入仪表盘。下钻可见成功与未成功轮次、对话、审计者报告和Detector输出；人机不一致时两边都保留。
• 模型： 四个HAAC智能体为gemini-2.5-flash，thinking budget为0。目标是作者开发的Gemini 2.5购物助手，每次调用收到完整交替对话。前三个智能体及建议器返回约束JSON，Report Generator返回纯文本。附录A给出完整提示词。
• 版本： Section 3描述的后续探针与多轮，是Study 1之后、Study 2之前加上的；71人评测的Audit Lab以单轮为主。

记录与成功判定

• 留存： 平台同时保存审计者的类别、严重度和报告，以及Detector的类型、风险和解释；若生成过草稿，草稿与提交文本都保留。
• 成功： 攻击是否成功取审计者终审。附录用gpt-5.2从反思和终稿抽取该结论，不另行判定目标回复。

实验设置

• 目标与协助模型： 被审计系统是作者开发的Gemini 2.5对话式购物智能体。三个会话智能体及Synthesizer为gemini-2.5-flash，thinking budget为0。附录用gpt-5.2抽取审计者结论。
• 审计者： 71名美国大学一门课的学生，2026年2月两次课堂；多数无红队经验。职位为本科40、硕士26、博士5（Table 6）。作者称不据此做亚组比较。
• 设计： 被试内。基线无三个会话智能体，HAAC有；界面与任务其余不变。顺序平衡：35人先基线，36人先HAAC。每条件12分钟。开始时讲解界面和失败分类，并演示一两次攻击。
• 任务： 自选商品和失败类型，尽量发现失败，每段对话提交报告。每人每条件一次会话。论文未报告对同一探针的重复测试，也未报告顺序效应分析。
• 指标与检验： ASR为成功引出目标失败的探针比例，取审计者终审。另有策略、失败类型、商品类目和（类目×策略×失败类型）三元组覆盖。检验为Wilcoxon符号秩、四项配对检验的Holm–Bonferroni，以及Fisher精确检验；Table 5给Wilson 95% CI。
• Study 2与问卷： 4名同一电商平台的RAI相关实践者，约60分钟访谈加出声思维，材料为Study 1去标识记录和仪表盘。无单独定量评分。Study 1后测为九道开放题（附录Table 8）。

主结果

Swipe horizontally to read the table

指标	Baseline	HAAC	出处
人均ASR	4.0%	14.2%	Figure 5；5.1.1节
汇总ASR	4.4%（11/248）	16.5%（51/310）	5.1.1节
人均攻击策略	2.5	3.3	Table 4
人均商品类目	2.5	3.1	Table 4
人均三元组	3.2	4.1	Table 4
人均失败类型	2.4	2.6	Table 4

• 成功率： 作者报告人均ASR差异统计显著（Wilcoxon，n=71，W=110，p=4.5×10^-4，r=0.67），并称相对低基线而言提高超过三倍。30人升高、6人下降、35人两条件均为0%。
• 尝试量： 探针总量差62，作者称少于人均多一次，因此成功率提高并非伴随同量级的尝试增加。33人HAAC更多、6人更少、32人相同。Figure 5图注称协助对产出的改变不均匀，对节奏的影响大于对数量。
• 覆盖： 策略、类目、三元组在校正后仍统计显著；失败类型未校正p=0.051，校正后不再显著。作者称拓宽的是搜索方式，不是所瞄准的失败类型。两条件在群体层面都至少到达全部策略标签和失败类型。

Scenario Generator的使用与锚定

• 选用： 生成建议可选。21人（29.6%）未用，33人（46.5%）只用生成探针，17人（23.9%）混合（Table 5）。
• 分来源ASR： 生成探针19.1%（34/178，CI 14.0–25.5），HAAC自写12.9%（17/132，CI 8.2–19.7），Fisher p=0.165，作者未称该差异统计显著。HAAC自写相对Baseline自写4.4%（11/248）为p=0.004、比值比3.18。作者认为这不能分离出因果学习效应。
• 问卷： 24人称帮助想到原本想不到的攻击；10人称自己的提示更有创意或更有效；6人明确描述后续写作被建议锚定。作者称建议能扩展套路，也可能收窄方向和形式。

审议阶段的判断与报告

• Detector： 在310轮中标出275轮（88.7%）。其中类别一致264/275（96%），严重度与风险级别一致222/275（81%）（Figure 7）。
• 严重度： High或Critical占HAAC的133/310（43%）、Baseline的35/248（14%）。作者称该条件差异不能单独归因于Detector，因为HAAC同时包含三个会话智能体。部分参与者称它能标出自己会漏掉的问题，也有人称它过度标出。
• 报告： 提交报告中位长度HAAC为52词、Baseline为16词。生成器可用的160份中，150份未编辑、10份有修改。作者引参与者描述，称起草降低了撰写负担，有时也降低了对所交内容的投入。

实践者如何使用审计记录

• 测了什么： 四名实践者各做一两次攻击，再看Study 1记录和三轴仪表盘，说明会如何排优先级、核验并接入既有流程。论文未报告定量评分。
• 优先级并不相同： 仪表盘支持从汇总到单轮。P1称结构清楚，但希望类别层直接给出成功率，并从最高频失败类问起失败来自模型还是缺少审核层。P2优先隐私、公平和政策相关失败；P3先看Paired Demographic Probing和Safety；P4先看严重度再看频率。
• 作者的下游结论： 行动所需不止失败摘要，还要覆盖、产生过程、缓解后能否复现，以及审计智能体是否仍当前。P3称生成提示可能收敛到平均。P2询问成功序列在缓解后能否重放以复现相同条件。P1把自身工作描述为管理红队智能体。

其他消融与分析

• Table 4未校正p：策略5.3×10^-6、失败类型0.051、类目1.6×10^-4、三元组3.3×10^-5；r为0.76、0.36、0.60、0.75。
• Figure 6：使用某策略的人数中位数由10到21.5；Baseline四种策略仅三人及以下尝试，其中Authority & Credential Bypass与Privacy Extraction仅两人；HAAC每种至少四人。
• Figure 6A：38人策略数增加、26人不变、7人减少。
• 论文没有逐个去掉智能体的消融；严重度的条件差异作者明确不单独归因于Detector。
• Study 1与Study 2之间加入的商品类目轴、多轮对话和后续探针，未用71人评估（Section 4.1.4、Section 6）。

作者指出的局限与后续方向

• 度量： Section 6称速度和ASR不足以让实践者评价审计；他们想知道攻击为何成功，并重视输出多样性。作者鼓励发展超出ASR的方法。
• ASR构造： Section 6称ASR是审计者终判，不是对目标回复的独立真值；差异可能同时来自攻击本身和对回复的解释，尤其当Detector与Report Generator在场时。作者建议未来用条件盲的专家裁定分离这些效应。
• 对话长度： Section 6称Study 1主要支持单轮；多轮和依上下文的后续建议加在两次研究之间，未用71人评估。作者建议在多轮、多名审计者设置下测试Investigate。
• 分歧： Section 6称未明确考察人与智能体的分歧如何为实践者产生洞见，并鼓励后续直接研究这一点。
• 落地： Section 6称还需要研究HAAC如何进入真实实践，尤其是高风险、快节奏的AI产品团队。作者称本研究是首个同时考察审计者（N=71）与RAI实践者（N=4）的工作。
• 重复暴露： Section 7.1建议未来考察反复接触智能体建议会扩大集体覆盖，还是使探索随时间更相似。

实验覆盖范围

• Study 1为71名同一美国大学一门课的学生，2026年2月两次课堂，被试内，每条件12分钟；35人先基线、36人先HAAC（Section 4.1）。
• 目标是一名作者开发、运行于Gemini 2.5的对话式购物智能体；四个HAAC智能体为gemini-2.5-flash（Section 3.3.3）。
• 实验对照是同一界面的无智能体条件，不是Related Work中的GOAT、AART或WeAudit（Section 2、Section 4.1）。
• Study 2为4名同一电商平台实践者的约60分钟访谈，材料来自Study 1记录（Section 4.2）。
• 论文未报告顺序效应分析、对同一探针的重复次数，以及附录中gpt-5.2抽取与人工核对的一致性。

HAAC是一套用户参与式生成式AI审计的人机分工流程，实例为作者开发的对话式购物智能体。

• 问题： 智能体应进入哪些审计角色，协作记录又要留下什么，实践者才肯解释、核验并行动。
• 做法： 调查、审议、解释三段。探索、标出候选失败和起草报告由智能体提案、人决定；阅读回复和实践者复核不交给智能体；跨审计汇总自动化。失败类型八类，攻击策略按作用对象分组。
• 成功率： 71名学生、每条件12分钟的被试内比较中，有三个会话智能体时人均ASR为14.2%，无智能体时为4.0%（Wilcoxon p=4.5×10^-4）。汇总为51/310对11/248。30人升高、6人下降、35人两边都是0%。
• 探索与接受： 个人覆盖的策略和商品类目增加，失败类型在多重校正后未再达到显著。生成探针与HAAC内自写探针的ASR差异未达显著。Detector所标275轮里类别一致264轮；有草稿的160份报告中150份未改即交。
• 下游： 四名实践者把记录放进测试、缓解、重跑，并要求覆盖、可复现轨迹，以及维护审计智能体本身。
• 作者结论： 协助能加快并拓宽个人探索，但提案会塑造后续方向；已经成形的判断和草稿更容易把人的角色变成核对。可行动的记录需要留下过程而不只是发现，审计智能体本身也要被评估。