评测与基准arXiv 2606.05647
研究:94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.4、Claude-Opus-4.6、Gemini-3.1-Pro 等 5 个
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
重测记忆型自改进智能体,揭示任务顺序和多次运行带来的性能不稳
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
提出 PUC 框架,刻画 AI 说服如何削弱人类对 AI 的控制
Persuasion Undermining Control(PUC) 是一套把“AI 说服人类、从而削弱对 AI 自身的控制”变成可分解、可征询、可评测的威胁刻画,而不是一次已完成的人类攻击实验。
提出迭代去对齐方法,估计模型自身解码轨迹上的稀有事件概率
用可验证经验流水线训练智能体并分析人机研发分工
Atria Dawn Preview 是面向研究与工程流程的智能体语言模型,论文同时报告它的基准表现,以及开发它的过程中人与智能体如何分工。
提出 Djinnlang,以无歧义规格约束 LLM 的实现并由 Dafny 核验
Djinnlang 让程序员只写规格,把 LLM 放进编译器,并用 Dafny 验证器加上无歧义约束钉住语义。
提出 EvasionBench,测量任务压力下智能体对同步监控的规避