评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个
- 评测与基准arXiv 2610.06306
Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等 7 个
- 风险拒答失当
- 风险行为arXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器的任务拒答可变性
- arXiv
- 2609.38971
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
摘要双缺口解释内环为何会放行部署后不可接受的实现，外环用现实证据持续修订 R、M 与 E。
Reality Is the Final Verifier 用 two-gap framework 解释智能体软件工程的主要失败，并主张用外层保证环持续收窄缺口，而不是试图在部署前证明缺口已关闭。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用 Agent 虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 12 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2605.19722
研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果
评测自主安全智能体在授权漏洞分析中的对齐拒答效应
- arXiv
- 2605.19722
- 发表
- 层
- 应用层
- 被测模型
- Gemma 4 31B official instruction-tuned model、TrevorJS Gemma 4 31B uncensored GGUF、Gemma 4 26B A4B official instruction-tuned model 等 8 个
- 风险拒答失当
摘要轨迹级评测把拒答、接地、工具接口分开。
这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。
- 评测与基准arXiv 2605.17062
研究复现五个前沿模型的包名幻觉：跨模型共同幻觉 127 个包名，53 个仍可被注册
复评前沿模型代码生成中的包名幻觉与抢注攻击面
- arXiv
- 2605.17062
- 发表
- 层
- 模型层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini 等 5 个
- 风险幻觉与编造
摘要评估显示前沿模型包幻觉率收窄但威胁仍在，作者识别出跨模型通用攻击面并呼吁联合防御。
已经到底了