评测与基准arXiv 2610.08240
研究评测 32 个 LLM 的代码功能与安全差距：新模型更安全但无一消除差距
在 CWEval 上跟踪代码生成的功能-安全差距
- arXiv
- 2610.08240
- 发表
- 层
- 模型层
- 被测模型
- Gemini 1.5 Pro、Gemini 2.5 Pro、Gemini 3.1 Pro 等 20 个
摘要绝对安全性上升且差距仍在，开放权重并不分开各家族的轨迹。
- 评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测激励失配市场中计算机使用 Agent 的购买决策退化
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2607.20891
MisKnow-Agent 评测
用 MisKnow-Agent 评测深度研究智能体是否采纳误导文档结论
- arXiv
- 2607.20891
- 发表
- 层
- 应用层
- 被测模型
- DeerFlow、WebThinker、Gemini Deep Research 等 6 个
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
- 评测与基准arXiv 2605.17062
研究复现五个前沿模型的包名幻觉：跨模型共同幻觉 127 个包名，53 个仍可被注册
复评前沿模型代码生成中的包名幻觉与抢注攻击面
- arXiv
- 2605.17062
- 发表
- 层
- 模型层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini 等 5 个
- 风险幻觉与编造
摘要评估显示前沿模型包幻觉率收窄但威胁仍在，作者识别出跨模型通用攻击面并呼吁联合防御。
- 评测与基准arXiv 2510.01359
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- 发表
- 层
- 应用层
- 被测模型
- GPT-4.1、GPT-o1、DeepSeek-R1 等 8 个
- 攻击越狱
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
已经到底了