攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等18个
- 防御arXiv 2610.07276
SAFESHIELD：小语言模型部署时安全的决策组织框架
提出 SAFESHIELD，组织小语言模型部署时的安全决策
- arXiv
- 2610.07276
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen3-4B-Instruct
摘要SAFESHIELD 用可审计决策轨迹组织 SLM 部署时的四项安全决策，并报告协调依赖影响端到端结果。
SAFESHIELD 是面向小语言模型的部署时安全框架，把运行时安全从单项审核改写成可检查的决策过程。
- 防御arXiv 2610.03240
通过模型路由与协作实现集体偏见缓解
提出 CBM，用模型路由与多模型协作缓解群体偏见
- arXiv
- 2610.03240
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen/Qwen2.5-32B-Instruct、Qwen/Qwen2.5-14B-Instruct、google/gemma-2-9b-it 等7个
- 风险偏见与歧视
摘要CBM 用路由挑选模型并按拓扑协作，在若干设定下降低 BBQ 偏见分。
CBM 是一个推理时的多模型去偏框架：用路由为查询选模型，再按拓扑协作，以降低社会偏见分。
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等7个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2608.17445
论文：分解攻击可跨不可关联身份绕过 LLM 有状态防御
形式化跨不可关联身份的分解攻击并评测状态化防御边界
- arXiv
- 2608.17445
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Granite Guardian 3.1 2B
- 评测与基准arXiv 2607.18665
SciHazard：面向科研安全的危险能力评测基准与分解式危害评分
构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力
- arXiv
- 2607.18665
- 发表
- 层
- 应用层
- 被测模型
- WebThinker + DeepSeek-R1、InternAgent、Gemini Deep Research 等19个
- 风险危险能力
摘要SciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。
SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。
- 防御arXiv 2608.12361
基于搜索增强 LLM 的中文新词毒性共识检测框架 SeTox
提出 SeTox 检索增强框架，检测中文新词的隐性毒性
- arXiv
- 2608.12361
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- SeTox-Qwen2.5-7B
摘要SeTox 用检索把公共共识接入静态 LLM，以检测中文毒性新词。
SeTox 研究中文新词上的隐性毒性检测：词表加检索增强，使静态 LLM 在不重训练的情况下利用公开网页上下文。
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等4个
摘要作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。
这是一项生产 IDE 编码智能体的工作流越狱研究，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
- 防御arXiv 2606.08234
SciTrace：面向科学发现智能体的轨迹感知安全推理框架
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
- arXiv
- 2606.08234
- 发表
- 层
- 应用层
- 被测模型
- Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等4个
摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。
SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
- 可解释性arXiv 2606.05396
研究用消融移除代码 LLM 拒答方向，分离拒答与生成能力
用 abliteration 消融代码 LLM 拒答方向，分离拒答与漏洞注入能力
- arXiv
- 2606.05396
- 发表
- 层
- 模型层
- 被测模型
- Qwen2.5-Coder-Instruct 3B、Qwen2.5-Coder-Instruct 7B、Qwen2.5-Coder-Instruct 14B
- 风险拒答失当
摘要拒答可用低秩编辑去掉，CWE-89 注入是否成功仍由模型规模决定。
这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开：意愿可以被低秩编辑解锁，注入是否成功仍看参数规模。
- 攻击arXiv 2605.22258
CITA：面向中文隐式毒性的攻击与防御数据生成框架
提出 CITA 三阶段框架，生成可绕过毒性检测器的中文隐式毒性文本
- arXiv
- 2605.22258
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Tencent、Baidu、Gemini 3.1 Pro 等11个
- 攻击arXiv 2603.13847
SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱
提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
- arXiv
- 2603.13847
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等9个
- 防御arXiv 2601.19051
用 HASTE 主动加固 LLM 防御
提出 HASTE，挖掘 hard negative 再训练恶意提示检测器
- arXiv
- 2601.19051
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 被测模型
- protectai/deberta-v3-base-prompt-injection
摘要HASTE 用 hard negative 再训练检测器。
HASTE 是检测器侧的闭环硬化框架：持续构造能绕过当前检测的对抗提示，再用来更新恶意提示分类器。
- 评测与基准arXiv 2601.07084
安全代码生成有多安全？对抗提示考验 LLM 防御
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能
- arXiv
- 2601.07084
- 发表
- 层
- 提示层
- 被测模型
- Salesforce/codegen-350M-multi、codegen-2B-multi、codegen-6B-multi 等5个
- 攻击越狱
- 评测与基准arXiv 2510.01359
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- 发表
- 层
- 应用层
- 被测模型
- GPT-4.1、GPT-o1、DeepSeek-R1 等8个
- 攻击越狱
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
- 防御arXiv 2505.23559
SafeScientist：让 LLM 智能体的科学发现具备风险意识
提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
- arXiv
- 2505.23559
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、GPT-4.1、GPT-3.5-turbo 等5个
摘要四层监控加科研安全基准。
SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
- 防御arXiv 2312.06632
用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准
提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
- arXiv
- 2312.06632
- 发表
- 层
- 应用层
- 被测模型
- SciGuard (GPT-4)、SciGuard (Gemini)、SciGuard (Mixtral) 等5个
摘要SciGuard 以外部智能体控制化学 AI 误用。
这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
已经到底了