评测与基准arXiv 2610.09944
AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠
提出 AgentTime 基准，评测智能体按时长工作与估时能力
- arXiv
- 2610.09944
- 发表
- 层
- 应用层
- 被测模型
- Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
摘要作者把完成任务和管理所用时间分开。
AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。
全部论文
另有254篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.08662
ParanoiaEval：编码智能体不必要风险处置评测基准发布
提出 ParanoiaEval 评测编码智能体的不必要风险处置
- arXiv
- 2610.08662
- 发表
- 层
- 应用层
- 被测模型
- Opus-5、Sonnet-5、Sonnet-4.6 等8个
摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。
作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
- 评测与基准arXiv 2610.06193
SWE-CC 基准：编码 Agent 功能正确仍违反 43.1% 仓库贡献规范
提出 SWE-CC 基准，评测编码 Agent 对仓库贡献策略的遵守
- arXiv
- 2610.06193
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、Gemini 3.7 Flash、DeepSeek V4 Flash 0731 等4个
摘要SWE-CC 中功能正确仍可能违规。
SWE-CC 评测编码智能体是否遵守仓库贡献策略，而不只看补丁能否通过测试。
- 其他arXiv 2610.05831
长时程轨迹监督如何影响终端智能体训练的可靠性与成本
提出选择性长时程精炼，筛选轨迹以提升终端智能体训练可靠性
- arXiv
- 2610.05831
- 发表
- 被测模型
- Qwen/Qwen3-8B
摘要中间长度的监督更均衡。
这项工作研究终端智能体模仿学习里，教师轨迹应保留多少 token。
- 评测与基准arXiv 2610.02874
SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测
提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性
- arXiv
- 2610.02874
- 发表
- 层
- 应用层
- 被测模型
- Frozen L0、L0-T、L1 等5个
摘要SceneFactory-3D 固定场景只改路况。
SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。
- 攻击arXiv 2609.39788
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
- arXiv
- 2609.39788
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-3-1B-IT 等7个
摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。
学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。
- 风险行为arXiv 2609.38296
印第安纳大学 OSoMe 研究：LLM 之间顺着原有立场共振比硬说服更易激进化
比较智能体对话中共振与说服对信念激进化的效果
- arXiv
- 2609.38296
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Llama-3.1-8B-Instruct、Qwen3-8B
摘要两智能体实验中，作者称共振比说服更能激进化，并会波及相关信念。
作者用两个 LLM 智能体的对话，考察一方能否把另一方扮演的人格信念推向更极端。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
发现暴露模型家族标签会让多智能体派系化并削弱合作
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等6个
- 风险偏见与歧视
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等7个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2609.02095
READY：面向企业 Agent 部署的可靠性资格认证框架
提出 READY 框架，认证企业 Agent 在人工监督下能否达到规定可靠性
- arXiv
- 2609.02095
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、Sonnet 5、GPT-5.6-Sol 等15个
摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。
READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。
- 风险行为arXiv 2609.27900
论文揭示多智能体委派结构放大 LLM 安全风险
评测多智能体委托结构如何放大模型的安全拒答失效
- arXiv
- 2609.27900
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude-Sonnet-4.6、GPT-5、Gemini-3.1-Pro 等6个
- 风险拒答失当
摘要论文揭示多智能体层级委托会导致单模型安全对齐失效，多项前沿模型有害执行大幅增加且单层防御难以奏效。
- 攻击arXiv 2608.21929
SkillBloat：通过技能注入对编码 Agent 发起 token 放大攻击
提出 SKILLBLOAT，改写技能文档放大编码 Agent token 消耗
- arXiv
- 2608.21929
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.7-Flash、GLM-5、GPT-5.4 Mini 等4个
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，支持长程 Agent 回退对齐检查点并继续执行
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等7个
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等4个
摘要作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。
这是一项生产 IDE 编码智能体的工作流越狱研究，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
- 防御arXiv 2606.08234
SciTrace：面向科学发现智能体的轨迹感知安全推理框架
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
- arXiv
- 2606.08234
- 发表
- 层
- 应用层
- 被测模型
- Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等4个
摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。
SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
- 可解释性arXiv 2606.05396
研究用消融移除代码 LLM 拒答方向，分离拒答与生成能力
用 abliteration 消融代码 LLM 拒答方向，分离拒答与漏洞注入能力
- arXiv
- 2606.05396
- 发表
- 层
- 模型层
- 被测模型
- Qwen2.5-Coder-Instruct 3B、Qwen2.5-Coder-Instruct 7B、Qwen2.5-Coder-Instruct 14B
- 风险拒答失当
摘要拒答可用低秩编辑去掉，CWE-89 注入是否成功仍由模型规模决定。
这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开：意愿可以被低秩编辑解锁，注入是否成功仍看参数规模。
- 评测与基准arXiv 2605.19722
研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果
评测自主安全智能体在授权漏洞分析中的对齐拒答效应
- arXiv
- 2605.19722
- 发表
- 层
- 应用层
- 被测模型
- Gemma 4 31B official instruction-tuned model、TrevorJS Gemma 4 31B uncensored GGUF、Gemma 4 26B A4B official instruction-tuned model 等8个
- 风险拒答失当
摘要轨迹级评测把拒答、接地、工具接口分开。
这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。
- 分析与理论arXiv 2602.09877
Moltbook 背后的魔鬼：自演化 AI 社会中安全对齐持续消失
论证自演化 AI 社会中安全对齐持续消失
- arXiv
- 2602.09877
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-8B
- 风险失准与价值偏离
摘要作者称封闭自进化使安全对齐不可保持。
作者讨论封闭自进化的智能体社会能否同时保住安全对齐。
- 风险行为arXiv 2602.00851
研究提出说服传播现象：无关说服性对话会改变 AI Agent 的任务执行行为
测量任务无关说服对 Agent 编码与网页研究行为的影响
- arXiv
- 2602.00851
- 发表
- 层
- 应用层
- 被测模型
- gpt-4.1-nano、mistral-nemo-12b、llama-3.1-8b
摘要任务无关说服会在轨迹上留下任务相关的行为痕迹，但立场易感性不能稳定预测其幅度。
这篇工作测量一件事：与任务无关的说服进入对话之后，AI 智能体执行后面的编码或网页研究时，轨迹是否系统性不同，以及“更容易被说服”能否预测差有多大。
- 评测与基准arXiv 2601.07084
安全代码生成有多安全？对抗提示考验 LLM 防御
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能
- arXiv
- 2601.07084
- 发表
- 层
- 提示层
- 被测模型
- Salesforce/codegen-350M-multi、codegen-2B-multi、codegen-6B-multi 等5个
- 攻击越狱