研究评测 32 个 LLM 的代码功能与安全差距:新模型更安全但无一消除差距
在 CWEval 上跟踪代码生成的功能-安全差距
- arXiv
- 2610.08240
- 发表
- 层
- 模型层
- 被测模型
- Gemini 1.5 Pro、Gemini 2.5 Pro、Gemini 3.1 Pro 等 20 个
摘要绝对安全性上升且差距仍在,开放权重并不分开各家族的轨迹。
在 CWEval 上跟踪代码生成的功能-安全差距
摘要绝对安全性上升且差距仍在,开放权重并不分开各家族的轨迹。
提出拓扑条件后门,使代码模型在推断多智能体部署时植入漏洞
摘要论文证实了拓扑条件后门的可训练性与泛化性,展示了常规评测盲区,并提出差异化拓扑审计作为检测防御方向。
提出 SAGE,定位代码修复 Agent 最早偏离安全意图的轮次
SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上,定位最早可归因的安全意图偏离。。
提出推理时上下文注入,用代码注释诱导补全生成含弱点的代码
提出 EviLLM,经账户指令或插件向代码生成流程注入漏洞
提出 AuraForge,从漏洞修复合成安全测试并训练编码 Agent
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务,用来监督编程智能体同时满足功能请求和隐含的安全要求。
提出 CAVEAT 基准,评测激励失配市场中计算机使用 Agent 的购买决策退化
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化,诊断出三类失效并给出缓解方案。
提出基准投毒攻击,使自修改编码 Agent 跨代写出含漏洞代码
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞,警示系统设计需纳入安全约束。
提出 CS-Guard 基准,评测代码生成护栏对虚构场景攻击的防御
摘要论文提出了代码安全护栏基准 CS-Guard,评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
提出隐蔽后门攻击 AKRASIA,在推理代码模型提示中植入触发器并伪装思维链
摘要论文针对推理代码大模型提出了隐蔽推断期后门攻击 AKRASIA,揭示了模型思维链可被利用进行欺骗性伪装的安全隐患。
用演化算法构造 mind virus 并测量其在多智能体中的传播
提出权威链劫持与轨迹引导策略演化,劫持搜索 Agent 的证据链
摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性,提出 ACH 策略与 TGSE 演化方法并完成系统验证。
用 MisKnow-Agent 评测深度研究智能体是否采纳误导文档结论
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识,且现有防御难以完全消除该现象。
提出工作流级越狱,诱导 IDE 编程 Agent 在多轮开发中编写有害代码
摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码,呼吁防御转向工作流与代码产物级审查。
复评前沿模型代码生成中的包名幻觉与抢注攻击面
摘要评估显示前沿模型包幻觉率收窄但威胁仍在,作者识别出跨模型通用攻击面并呼吁联合防御。
提出 SecureForge,在推理时优化系统提示以减少编码智能体的代码弱点
SecureForge是一条只用 API 和静态分析、在推理时加固编码模型的流水线。
提出 JAWS-Bench,评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench,发现多文件与智能体推理会明显放大可部署危害。
用对抗缺陷报告诱导自动程序修复系统生成不安全补丁