跳到正文
10月9日 · 周五

全部论文

找到 221 篇
筛选7

攻击类型

越狱16提示注入111投毒与后门77模型篡改19提取与窃取15检测规避16拒绝服务2恶意使用4

攻击技术

梯度与表征优化7自动化搜索20多轮渐进1编码与混淆4角色扮演与说服2对话结构操控2推理链操控3跨模态载荷3针对防御11潜伏触发38诱导选用4

模型自身风险

欺骗与谋划3奖励作弊1失准与价值偏离5Agent 危险操作7拒答失当2幻觉与编造1

防御类型

模型加固28推理时干预3检测与过滤22指令与数据隔离25权限与审批28监控与审计12水印与溯源7

影响

有害内容21越权操作73数据与隐私泄露38输出被操纵55可用性与可靠性11监督失效9滥用能力提升1

系统形态

模型与 API78LLM 应用13AI Agent130编程 Agent20网页与电脑操作15多智能体14具身与机器人2

攻击者权限

黑盒15灰盒3白盒15

攻击面/入口

用户输入200网页与界面39文档与消息55工具返回71工具与技能描述38代码仓库与依赖20检索语料14记忆写入29Agent 间消息16图像与音视频51训练数据51权重与梯度43分发渠道36推理服务与硬件9

层

提示层6模型层22应用层139训练与数据层54

系统组件

MCP 与技能21记忆30RAG6护栏与评审19监控器15推理链7权限与沙箱27微调与开源权重39视觉11音频4视频1图像生成5嵌入1多模态20
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 445 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：文档与消息攻击面/入口：工具返回攻击面/入口：代码仓库与依赖攻击面/入口：记忆写入攻击面/入口：训练数据攻击面/入口：权重与梯度清除全部

另有 445 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，改写选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等 5 个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  3. 攻击arXiv 2608.07430

    研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

    提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

    arXiv
    2608.07430
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒、白盒
    摘要论文揭示了扩散语言模型对自回归安全神经元的继承性，并提出纯离线黑盒越狱框架 SN-Guided Diffusion。

    论文系统评估了扩散大语言模型（DLLM）在安全对齐中的双重角色——既作为白盒攻击目标，又作为黑盒越狱生成的对抗工具。

    深度解读完整解读
  4. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  7. 攻击arXiv 2608.05563

    研究者提出 PoisonedEvolution 轨迹投毒攻击

    提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统把恶意行为固化为技能

    arXiv
    2608.05563
    发表
    层
    应用层
    场景
    AI Agent
    摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。

    这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。

    深度解读完整解读
  13. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  16. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  19. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
加载更多