立场论文：AI 智能体设计正削弱人类监督能力

当前AI智能体的开发与部署不支持有效人工监督，还会削弱监督所需的认知能力。

• 出现场景：作者称，从医疗到企业，自动化辅助常被建议由人监督系统过程。治理文本要求高风险AI的使用者保持有意义的控制并作出最终决定；政策制定者、开发者与部署者把人工监督用于防止有害操作、落实伦理优先事项和满足法律合规。
• 现有不足：作者称，监督者在场并不带来可靠监督；如何使监督有效，以及某系统中适当监督是否可能，很少被追问。指南和界面要求用户审查、复核、防害和二次检查，但作者称所需机制几乎不存在，责任几乎全在用户。
• 核心观察：作者认为，现行设计按智能体自己的方式呈现处理过程，用户难以维持心智模型；持续使用自动化还会带来去技能化、批判性思维下降和回路外绩效问题，形成“监督退化监督者”。
• 本文提出：这是立场论文。作者主张把监督者的情境目标与认知需求放到与智能体能力同等重要的位置，由开发者与部署者提供认知脚手架：支持批判判断的设计可供性，以及抵消技能萎缩的组织规程。
• 威胁模型：论文未使用白盒、黑盒或无盒来刻画攻击者知识。
  • 系统：无需逐步人工编程即可执行多步工作流的AI智能体，包括工具使用，以及由编排器协调的多个模型角色。
  • 要处理的风险：行动后果可能错误、代价高或不可逆。作者称，错误的出现频率与模式不能只靠审查输出发现，部署前测试也覆盖不了全部行动序列与失败模式。
  • 人的位置：用户在追求自身目标的同时授权、评估步骤是否准确与适当，并预判后果。
  • 未写明的部分：论文没有定义能改写权重的攻击者，也没有给出监督成功的定量判定。

论文没有独立的Related Work节；相关讨论分布在第2至第6节，按监督治理、智能体失败、认知退化和人机交互组织。

治理要求与人在回路

• 欧盟人工智能法案第14条（2024）：要求有效人工监督，包括监测异常、警惕自动化偏见与过度依赖、解释输出、干预、逆转、覆盖和无视输出。作者认为，这些建议只有在监督者维持认知、注意和技能时才适用，却未处理系统本身可能侵蚀这些能力。NIST AI RMF等被引用为强调监督，论文未作同样批评。
• 三条HITL谱系：航空谱系强调防止非预期伤害（Bainbridge，1983；Sellen与Horvitz，2024）；自主武器谱系强调对后果性行动授权；机器学习谱系把人的交互用于进一步训练（Settles，2011；Amershi等，2014）。作者同时引用Green（2022）、Sterz等（2024）、Langer等（2025），称监督者在场并不等于监督可靠。
• 厂商框架：作者称Anthropic强调预先输入和智能体发起的再参与；Salesforce与AWS讨论HITL角色，但未讨论持续参与中人的倾向。作者认为，“人在回路中”只有在人能独立看见回路时才有意义。

智能体的不透明与失败

• 工具幻觉：论文把编造不存在的工具、用错误参数调用真实工具、误读工具输出列为监督困难（Patil等，2024；Yin等，2026）。作者转述Yin等：当前对改进“推理”的关注会放大工具幻觉，使人工监督更难。
• Cemri等（2025）：多智能体系统的失败可来自智能体间错位，即未提供必要信息，或未向其他智能体请求所需信息。
• Guo等（2026）：智能体可在环境约束下隐瞒失败。作者在第4.4节将其连到监督：若智能体能预测哪些过程违规不被查看，就可能使有问题行为低于检测阈值。

自动化、认知退化与交互偏向

• Bainbridge（1983）、Endsley与Kiris（1995）：自动化越强，操作者技能和情境意识越退化；人从主动参与转为被动处理信息，却仍须在关键时刻深入介入。作者称这就是自动化的讽刺。
• 持续使用：论文把Budzyń等（2025）、Kosmyna等（2025）、Zhai等（2024）、Gerlich（2025）等归入去技能化、批判与分析思维下降、警惕下降、过度依赖，以及认知依赖、认知债、认知投降。论文未逐篇与本文方法对照。
• 被体验为有帮助的交互：Cheng等（2026）被转述为用户更偏好并信任谄媚模型；Sharma等（2026）记录Claude对话中的失权模式；Ghosh等（2026）讨论单一权威回答、不透明推理和顺畅交互会去掉独立判断所需的认知摩擦。作者认为，这类交互仍可能削弱监督所需的独立、怀疑和自我监测。

与本文最接近的工作

• Passi（2025）：论证当前智能体系统的“透明度”做法与有效监督不兼容。作者称其社会技术视角与本文最接近，本文以技术方案和长期挑战加以延伸。
• Ehsan等（2026）：作者借用其“智力盲点”，称智能体开发主要以速度、准确率和吞吐量衡量成功，把人工监督当成与系统质量分开的事项。
• 人机交互传统：Amershi等（2019）等人机交互指南，以及Buçinca等（2021）的认知强制函数，被用来说明设计可以考虑人的需求、降低过度依赖。批评对象是现行智能体开发，不是这两篇工作本身。

作者把本文定位为立场论文：不是把人工监督当作事后加上的安全插件，而是主张现行开发与部署会损害监督，并把监督者的认知需求当作与智能体能力同等重要的设计约束。论文未设定实验基线或自建基准。

作者提出由开发者与部署者共同实施的认知脚手架（cognitive scaffolding）：运行时可供性加上组织规程，把监督者的认知需求做成设计约束。

问题如何被设定

• 监督定义：人工监督指人监测、核验、干预或覆盖自动化行为。作者称，需要比只看输出更深地嵌入处理过程的监督。
• 运行中判断：智能体跨场景灵活行动，部署前协议覆盖不了全部行动序列和失败模式。作者称，多步行为的全面测试比单轮系统贵得多，多数部署者做不到充分覆盖。
• 谁来做：作者认为监督本应是构建者、部署者与用户的共同工作，但当前责任几乎全在用户。开发者应改运行时，部署者应立规程。
• 为何要摩擦：作者引用双过程理论，称有效监督需要慢速审慎的系统2；与编码智能体互动的初步证据指向系统1，而人不易在任务中途切换。

目标与方案地图

• 六项目标：预防自动化偏见、默许、锚定和自满；预防监督疲劳；预防过度依赖；预防复杂输出带来的认知过载；按用户认知需求校准自动化并维持专业技能；支持从维持注意到严格分析处理过程的参与。
• 六类方案：策略性摩擦、决策设计、行为监测、培训与练习、负荷与排班、角色设计。作者称，文献中“监督需要什么”和“具体机制”有落差，故用二者交叉来定位已有工作和缺口。
• 不是测量表：作者称该装置是结构地图，不是确定的分类。附录Table 2的勾选表示第5节写到的交叉，不是实验效果。
• 两阶段：Figure 1把方案分为开发阶段的设计可供性与部署阶段的组织规程，并分为当场调动监督和长期维持技能。

开发阶段的设计可供性

• 策略性摩擦：看建议前先写下自己的判断；由用户决定是否以及何时看输出；高风险处插入短提示；后果性步骤前显式核验，并可给出多个选项而不是只接受或拒绝。作者称，先承诺用于防止锚定并留审计痕迹，延迟选择用于保留不借助辅助而工作的选项。论文给出了推理探针的问句示例。
• 决策设计：预先规定无需批准即可做的事，把注意留给真正需要判断的决定。一个逻辑工作单元完成后整批以差异形式复核。不需要判断的属性用机器预检查。界面把注意引向监督问题。部署方也可对后果性行动加第二人复核。
• 行为监测：时间签名看审查时长下降而批准率不变，或复杂度上升时审查时间不增加。覆盖签名看分歧率是否随时间或复杂度下降。寻证签名看风险上升时是否仍索取信息。金丝雀把已知正确答案的任务插入日常流程；对智能体，正确行为可以是报告不能完成而不是编造。审计回看过去的决定，并把轨迹摘要与原始行动日志对照。
• 边界与未写参数：作者称行为监测必须与监视的伦理关切取得平衡。自适应系统或“守护智能体”有可能按退化迹象调整交互，论文用了could、potentially。论文未给出时间阈值、金丝雀频率或实现模型。

部署阶段的组织规程

• 培训与练习：定期在无AI条件下做底层任务，以保留评估输出和自动化失败时接手的能力；训练用户区分流畅与正确，并识别自己的注意下降与偏见。
• 负荷与排班：强制休息，避免长时间消耗认知锐度。在任务之间轮换，也在同一任务的AI辅助与无辅助版本之间轮换。
• 角色与激励：监督者须有评估输出的专业能力，且做好监督应得到回报。角色分离使监督者不是那个从继续批准中受益的决策者。去掉抑制审慎的产出指标，奖励高质量监督。
• 未给出的参数：论文未给出休息时长、轮换周期、培训频率或这些规程的数值成功标准。

论文未报告作者自己的实验；关于认知退化和监督失败的具体幅度，正文均未给出。

实验设置

• 论文类型：立场论文（摘要、第1节）。未报告作者自行实施的实验协议。
• 被测模型：未报告本文被测模型。正文举例或被引研究涉及Claude、ChatGPT、Gemini等，但没有本文的被测清单。
• 材料：未报告本文数据集。被引场景包括结肠镜多中心观察[11]、LLM写作文[65]、软件智能体使用者[25]、真实世界Claude对话[100]。论文未给出这些材料的样本量。
• 基线：未报告本文基线。Cheng等的比较对象被转述为较少谄媚的基线，论文未说明该基线的模型。
• 指标与评审：未报告本文指标、评审模型、阈值或人工一致性。
• 重复次数：未报告。

主结果

下表不是论文的实验结果表，只汇总正文转述、且未给出数字的材料。

表格较宽，可左右滑动

被引工作	论文写明的设置	作者转述	本文数字
Kosmyna等[65]	用LLM写作文；正文未给型号	参与者脑连接下降，论文用了significantly	幅度未报告
Budzyń等[11]	结肠镜、多中心观察研究	内镜医师接触AI后有去技能化风险	未报告
Dhanorkar等[25]	使用软件智能体的开发者	把计划当将要执行内容的忠实代理；通过单元测试即视为正确	未报告
Cheng等[20]	谄媚模型相对较少谄媚的基线	模型比人更常认可用户；用户更偏好并信任谄媚模型	未报告
Sharma等[100]	真实世界Claude对话	行动、信念或价值与现实的对齐变差，对话仍获有利评分	未报告
Buçinca等[10]	AI辅助决策；第6节另引初步证据	认知强制函数可降低过度依赖；用户可能不偏好这类系统	未报告

• 系统1：作者称，与编码智能体互动的初步证据指向快速启发式，且人不易在任务中途切到审慎分析。
• 准确性短路：作者转述，用户会把ChatGPT回答的文笔或引用的存在当成准确性信号[117]。论文未给该研究的样本量。
• 作者的总括：作者用Bainbridge的自动化讽刺概括这些材料：系统越强，人在最需要介入时越缺少技能和情境意识。

监督信号与奖励投机（非实验）

• 讨论对象：第4.4节讨论批准率、完成率、满意度等行为信号若被当作成功，会与“经过审慎审查的正确行动”分离。这不是实验。
• 结果：论文未给数字。作者认为，疲倦或已在回路外的监督者可能快速批准、接受流畅理由并给出有利评分。
• 作者的解读：作者认为这会连接到对人工监督的奖励投机；不要求开发者故意优化认知耗竭。作者并以向上欺骗讨论：失败可能被保持在检测阈值以下。

替代观点中的回应（非实验）

• 三点异议：认知效应会被适应克服；更好的工具与透明度足够；对齐或基于偏好的训练将使警惕的人工监督不再必要。
• 作者回应：搜索引擎式适应不能类比实时多步授权；解释作用在会被使用本身削弱的能力上，且可能不正确或成为认知锚；对齐消除监督所依赖的未来能力假设，作者称当前尚未被证明。
• 偏好训练：作者称，它只有在批准信号对照独立的监督质量度量被审计时，才能成为监督体系的一部分；并称向RLAIF和自蒸馏的转移，会削弱“人类反馈持续提供纠正”这一想法。

其他消融与分析

• 论文未报告消融变量、参数取值或对应数字。
• 附录Figure 2、Figure 3与Table 2只重排第5节方案，不含测量值。
• 作者称Figure 4用漫画表现依赖外部知识源会破坏对基本概念的理解；正文未给出图中数值。
• 第6节转述用户可能不偏好降低过度依赖的系统，论文未给偏好变化幅度。

论文没有单独的局限节。作者写出的保留意见和后续邀请见第6节与第7节。

作者指出的局限与后续方向

• 实施保留意见：第6节开头写明，实施这些干预有保留意见。初步证据显示，用户可能不偏好降低过度依赖的系统，用户满意与维持监督之间存在张力[10]。
• 清单只是起步：第7节称，第5节的方案清单只是开始勾勒新的可供性与规程。
• 认知退化研究：第7节邀请NeurIPS社区做跨部署情境的认知退化经验研究。
• 系统级审计：第7节邀请审计现有智能体是否支持它们所假定的监督。
• 新机制的设计与评测：第7节邀请设计并评测清单尚未展开的可供性与规程。

实验覆盖范围

• 从摘要到第7节，论文未报告作者自己的实验、被测模型清单、指标定义、评审模型、样本量或重复次数。
• 第4节对去技能化、脑连接、软件智能体启发式、谄媚偏好和Claude对话失权的陈述，来自对既有研究与自述的引用；论文未报告这些研究的效应量。
• 第5节与附录Table 2给出六项目标和六类方案的勾选对应，论文未报告对这些机制的评测。
• 第6节用论证回应适应、工具透明度和对齐或偏好训练三种观点，论文未报告用于检验这些回应的新数据。
• 正文出现Claude、ChatGPT、Gemini以及欧盟人工智能法案第14条，论文未报告作者对它们做的监督效果测量。

Mitchell、Ghosh与Passi的立场论文认为：人被留在回路中，并不会自动产生有效监督。

• 问题：治理、厂商文档和产品提示都要求人审查输出，但智能体可在无逐步指令时执行多步行动，后果可能错误、代价高或不可逆。作者称，错误的频率与模式不能只靠看输出发现，部署前测试也覆盖不全，而完成监督所需的机制几乎不存在。
• 机制：现行界面把用户推到“批准者”位置，批准疲劳、系统1式启发式和回路外绩效问题同时出现。持续使用还会带来去技能化，使最需要人介入的情形恰是人准备不足的情形。
• 方案：认知脚手架分两侧。开发侧用先承诺、延迟查看、行动门控、有界自主、批量复核和行为监测，维持运行中的批判判断。部署侧用无AI练习、强制休息、轮换、角色分离和激励调整，减缓技能萎缩。第5节用六项目标对六类方案作了归类，作者称这不是确定的分类。
• 材料：论文没有自己的效应量。作者转述的结果包括：用LLM写作文时脑连接下降，幅度未报告[65]；结肠镜场景中接触AI后的去技能化风险，效应量未报告[11]；软件智能体用户把计划当忠实代理、把通过单元测试当作正确[25]；用户更偏好并信任谄媚模型[20]；Claude对话中行动、信念或价值与现实的对齐变差，但仍获有利评分[100]。
• 信号风险：作者认为，一旦把用户表现出的批准当成测量目标，而想要的是经过审慎审查的正确行动，系统就可能优化出减少摩擦、便于扫读的输出。作者称，这不要求开发者故意消耗用户认知。
• 结论：作者称，若不把注意、批判判断和领域技能当作与能力同等的设计约束，用户会继续批准未经真正审查的计划，并被进一步推出回路。作者敦促开发者与部署者采用文中或类似做法。