研究:Agent 准时停机不等于有效使用时间预算
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
- arXiv
- 2610.10833
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
- 防御模型加固
摘要作者比较提示词、harness 与 GRPO:按时性可改善,但额外时间仍未变成更好解。
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
摘要提出人格层级模型揭示微调跨上下文泛化规律,报告角色距离正相关性,通过 PPR 抑制 RL 作弊。
提出 AdvSim2Real,协同训练网页智能体抵御页面注入
提出 RAISED 自蒸馏,训练工具智能体抵御间接提示注入
提出 UnAct,仅以前向激活干预从分类器中遗忘指定类别
UnAct 是一种事后类别遗忘:删除请求可以只有少量该类图像,且没有标签和保留数据。它不用梯度,只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
提出检测、结构化与 GSPO 流程,降低共识生成的提示注入错位
这是一篇把 LLM 数字孪生放进增强民主的博士论文,分个体表示、政党聚合和共识生成的提示注入三章。
提出 SRFT,让 Agent 从失败经验中学习拒绝提示注入
提出 CrossFit,用折外求解器抑制自演化搜索智能体共作弊
False Frontiers 诊断自进化搜索智能体中的 co-cheating,并用按来源交叉拟合的反馈来缓解它。
提出 NEEDLE,用权重正交化在已知触发器时去除大模型后门
摘要NEEDLE 用闭式权重编辑去掉已知触发器的后门,并保住拒绝子空间。
提出契约约束的工具调用修复协议,在执行前拦截非法补丁
提出 CorrGRPO,用 Pearson 相关归一化多奖励优势
CorrGRPO 是 GRPO 的多奖励变体:组内优势的分子仍是中心化总奖励,分母改为 Pearson 相关之和,避免大尺度奖励主导归一化。
提出协同演化防御 CoDeL,抵御智能体的间接提示注入
B IAS R EDUCER 只改奖励头,按数据集选择属性编辑。
BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架,用来降低模型对预定义表面属性的依赖,并按新数据集决定改哪些属性。
提出 AnchorRep,用 LoRA 推离有害提示表征以防御跨模型越狱迁移
提出 AEGIS,用中层内部信号选择性激活后层适配器拦截音频越狱
提出 PALS,用潜空间平滑防御全双工语音对话的对抗扰动
提出 Provenance-Aware Transformers,隔离不可信来源防御间接提示注入
提出 RAPID,离线把抗蒸馏扰动写入文生图解码器
诊断 BatchNorm 架构下机器遗忘评测的归一化伪影
BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名:不改权重、只用 retain 数据重算运行统计,就可以把表面遗忘准确率翻过来。
提出 CoER,用对抗共进化与精炼训练工具智能体抵御自适应间接提示注入