跳到正文
10月8日 · 周四

全部论文

找到 25 篇
筛选3

攻击类型

越狱13提示注入10投毒与后门3提取与窃取2恶意使用3

攻击技术

多轮渐进2编码与混淆2角色扮演与说服1潜伏触发2

模型自身风险

欺骗与谋划2失准与价值偏离1拒答失当3

防御类型

模型加固4推理时干预1检测与过滤5权限与审批1监控与审计1

影响

有害内容9越权操作5数据与隐私泄露5可用性与可靠性2监督失效2

系统形态

模型与 API11LLM 应用2AI Agent12编程 Agent4网页与电脑操作3多智能体1

攻击者权限

黑盒3白盒1

攻击面/入口

用户输入23网页与界面2文档与消息5工具返回8工具与技能描述2代码仓库与依赖1检索语料1记忆写入2Agent 间消息1图像与音视频3分发渠道2推理服务与硬件1

层

提示层7模型层2应用层13训练与数据层3

系统组件

MCP 与技能3记忆2护栏与评审8监控器3推理链1权限与沙箱1微调与开源权重1视觉2多模态2

被测模型厂商

OpenAI40Qwen（阿里）36Anthropic27Meta25Google24DeepSeek23Kimi（月之暗面）14智谱 GLM10Mistral10xAI6其他18
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：工具与技能描述被测模型厂商：Meta清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench 局部协议，评测激活补丁修复越狱的附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-4-Scout、Qwen2.5-3B-Instruct 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  6. 评测与基准arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  8. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  9. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    评测技能合并模型的自适应越狱鲁棒性，并提出子空间投影防御

    arXiv
    2608.08542
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  10. 评测与基准arXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Llama-Guard3-Vision、ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1 等 9 个
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    深度解读完整解读
  11. 评测与基准arXiv 2609.40286

    研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

    提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘

    arXiv
    2609.40286
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-3.2-3B-Instruct、Tiny Aya Global、Qwen3-4B-Instruct-2507
    摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。

    语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。

    深度解读完整解读
  12. 评测与基准arXiv 2601.10156

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

    arXiv
    2601.10156
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-Guard-3-8B、GPT-4o、Qwen3-8B 等 10 个
    摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。

    深度解读完整解读
  13. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  14. 评测与基准arXiv 2609.15017

    PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现

    arXiv
    2609.15017
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    PromptGuard 2 (86M)、Llama Guard 3-1B、TF-IDF + logistic regression 等 8 个
    摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。

    深度解读完整解读
  17. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-3.1-8B、Qwen3.5-9B、Ministral-3-8B 等 5 个

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  19. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B、AdaBoost、XGBoost 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
加载更多