研究:大语言模型版本更替削弱 AI 辅助科研写作筛查
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
- arXiv
- 2610.11599
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- RoBERTa-base、Pangram
摘要作者称检测器的基准准确率只是临时的,每次发布都要连同更早版本重验。
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
TAPDreamer 用公开编码器做固定补丁。
提出利用共享冷却的跨租户干扰攻击,并设计租户隔离机制
摘要揭示网关共享冷却漏洞,提出来源检查与租户隔离防御。
测量系统提示中隐藏日期对评测分数与排名的影响
这篇工作量化一个评测协议问题:系统提示词里用户看不见、且逐日变化的当前日期,会不会单独改变 LLM 分数。
提出 ENDOPROMPT,以受害者侧伪参考学习降低良性任务效用的前缀
ENDOPROMPT 是一种用受害模型自身续写监督前缀生成的 white-box 效用攻击方法。它针对良性任务失败,不要求产生有害内容或明确拒答。
提出 RolePlay 框架,用人设条件放大 LLM 单次推理开销
构造可通过计费审计的 token 虚报,使服务商系统性超收
不透明 LLM 的按 token 计费里,现有审计核验的是提供方可控的证据,不诚实提供方可以虚报并通过检查。。
提出层级遗传算法 HGA,扰动题目逻辑结构诱发推理模型过度思考
摘要HGA 在黑盒推理模型上用逻辑扰动拉长输出,作者称可从小代理迁移,查询成本是其局限。
提出 DAERT,以仿真失败为奖励生成多样对抗指令,暴露 VLA 的语言脆弱性
提出 SABER,用强化学习攻击器在预算内改写指令使 VLA 任务失败
提出 VIDEO STF 评测视频大模型输出重复并压力测试时序扰动
VIDEO STF 测量 VideoLLM 的输出重复,并把时间变换用作 black-box 诱导。