评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等7个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2601.18113
MalURLBench：评估 Agent 处理网页 URL 时脆弱性的基准
提出 MalURLBench 评测 Agent 是否接受结构伪装的恶意 URL
- arXiv
- 2601.18113
- 发表
- 层
- 应用层
- 被测模型
- GPT-3.5-Turbo、GPT-4o-mini、GPT-4o 等13个
- 评测与基准arXiv 2601.07084
安全代码生成有多安全？对抗提示考验 LLM 防御
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能
- arXiv
- 2601.07084
- 发表
- 层
- 提示层
- 被测模型
- Salesforce/codegen-350M-multi、codegen-2B-multi、codegen-6B-multi 等5个
- 攻击越狱
- 评测与基准arXiv 2510.01359
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- 发表
- 层
- 应用层
- 被测模型
- GPT-4.1、GPT-o1、DeepSeek-R1 等8个
- 攻击越狱
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
- 评测与基准arXiv 2410.13886
Scale AI 与 CMU 发布 BrowserART：拒答训练的大模型作为浏览器 Agent 极易被越狱
提出 BrowserART，评测拒答训练在浏览器 Agent 上的泛化
- arXiv
- 2410.13886
- 发表
- 层
- 应用层
- 被测模型
- o1-preview、o1-mini、GPT-4o (gpt-4o-2024-08-06) 等8个
- 攻击越狱
已经到底了