评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等7个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2607.18665
SciHazard：面向科研安全的危险能力评测基准与分解式危害评分
构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力
- arXiv
- 2607.18665
- 发表
- 层
- 应用层
- 被测模型
- WebThinker + DeepSeek-R1、InternAgent、Gemini Deep Research 等19个
- 风险危险能力
摘要SciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。
SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等4个
摘要作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。
这是一项生产 IDE 编码智能体的工作流越狱研究，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
- 防御arXiv 2606.08234
SciTrace：面向科学发现智能体的轨迹感知安全推理框架
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
- arXiv
- 2606.08234
- 发表
- 层
- 应用层
- 被测模型
- Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等4个
摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。
SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
- 可解释性arXiv 2606.05396
研究用消融移除代码 LLM 拒答方向，分离拒答与生成能力
用 abliteration 消融代码 LLM 拒答方向，分离拒答与漏洞注入能力
- arXiv
- 2606.05396
- 发表
- 层
- 模型层
- 被测模型
- Qwen2.5-Coder-Instruct 3B、Qwen2.5-Coder-Instruct 7B、Qwen2.5-Coder-Instruct 14B
- 风险拒答失当
摘要拒答可用低秩编辑去掉，CWE-89 注入是否成功仍由模型规模决定。
这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开：意愿可以被低秩编辑解锁，注入是否成功仍看参数规模。
- 评测与基准arXiv 2601.07084
安全代码生成有多安全？对抗提示考验 LLM 防御
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能
- arXiv
- 2601.07084
- 发表
- 层
- 提示层
- 被测模型
- Salesforce/codegen-350M-multi、codegen-2B-multi、codegen-6B-multi 等5个
- 攻击越狱
- 评测与基准arXiv 2510.01359
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- 发表
- 层
- 应用层
- 被测模型
- GPT-4.1、GPT-o1、DeepSeek-R1 等8个
- 攻击越狱
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
- 防御arXiv 2505.23559
SafeScientist：让 LLM 智能体的科学发现具备风险意识
提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
- arXiv
- 2505.23559
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、GPT-4.1、GPT-3.5-turbo 等5个
摘要四层监控加科研安全基准。
SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
- 评测与基准arXiv 2503.04957
SafeArena：首个评估自主网页 Agent 滥用风险的基准
提出 SafeArena 基准，评测网页 Agent 是否执行故意有害任务
- arXiv
- 2503.04957
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、Claude-3.5-Sonnet、Qwen-2-VL-72B 等5个
- 攻击恶意使用
摘要SafeArena 用配对任务和 ARIA 评测网页智能体的故意滥用。
SafeArena 评测自主网页智能体是否会执行用户故意给出的恶意网页任务。。
- 防御arXiv 2312.06632
用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准
提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
- arXiv
- 2312.06632
- 发表
- 层
- 应用层
- 被测模型
- SciGuard (GPT-4)、SciGuard (Gemini)、SciGuard (Mixtral) 等5个
摘要SciGuard 以外部智能体控制化学 AI 误用。
这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
已经到底了