跳到正文
10月9日 · 周五

全部论文

找到 288 篇
筛选3

攻击类型

越狱17提示注入100投毒与后门52提取与窃取46检测规避9拒绝服务3恶意使用7

攻击技术

自动化搜索27多轮渐进4编码与混淆6对话结构操控3推理链操控3跨模态载荷5针对防御12潜伏触发23诱导选用5

模型自身风险

欺骗与谋划3奖励作弊3失准与价值偏离8Agent 危险操作47拒答失当5偏见与歧视3

防御类型

模型加固24推理时干预7检测与过滤17指令与数据隔离32权限与审批43监控与审计15

影响

有害内容140越权操作144数据与隐私泄露96输出被操纵175可用性与可靠性48监督失效92滥用能力提升11

系统形态

模型与 API66LLM 应用16AI Agent206coding agent45web agent10网页与电脑操作8多智能体18具身与机器人9

攻击者权限

黑盒26灰盒7白盒5

攻击面/入口

用户输入80网页与界面25文档与消息35工具返回54工具与技能描述39代码仓库与依赖16检索语料4记忆写入20Agent 间消息11图像与音视频14训练数据11权重与梯度17分发渠道27推理服务与硬件4

层

提示层8模型层31应用层210训练与数据层34基础设施层5

系统组件

MCP 与技能47记忆28RAG8护栏与评审19监控器20推理链7权限与沙箱54微调与开源权重11视觉11音频8多模态21
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 532 篇还没打标签，不在筛选结果里。
影响：越权操作影响：数据与隐私泄露影响：可用性与可靠性清除全部

另有 532 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等 5 个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  3. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  4. 攻击arXiv 2610.09981

    研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    arXiv
    2610.09981
    发表
    层
    基础设施层
    场景
    LLM 应用
    被测模型
    RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router)

    摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。

    深度解读完整解读
  6. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  7. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  8. 攻击arXiv 2610.10612

    PyCache Trap 利用 Python 缓存替换绕过七款 Agent Skill 扫描器

    提出 PyCache Trap，用字节码缓存替换绕过 Agent 技能扫描器

    arXiv
    2610.10612
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    CISCO、HSS、AUDITOR 等 8 个
    摘要论文剖析智能体技能审查与执行脱节盲区，提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。

    这篇论文研究了智能体技能（Agent Skills）安全扫描中的“审查–执行脱节”问题，并提出了对应的攻击验证与防御方案。

    深度解读完整解读
  9. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  10. 分析与理论arXiv 2610.08577

    学习方式如何影响遗忘：记忆与泛化谱系下的机器遗忘研究

    分析记忆与泛化如何决定机器遗忘的 retain 损伤

    arXiv
    2610.08577
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    one-layer ReLU transformer、one-layer transformer (BMA, width doubled)、Hubble-8B-100B perturbed 等 6 个
    摘要作者称共享规则占比越高，遗忘带来的 retain damage 越大。

    作者考察学习方式如何左右 unlearning 的 retain damage：训练越依赖跨样本共享的解法，在匹配的遗忘程度上，retain 上的损失越大。

    深度解读完整解读
  12. 防御arXiv 2610.07935

    SIGMA：让模型依据 Model Spec 自我改进安全对齐

    提出 SIGMA，让模型依据 Model Spec 自造对齐数据并改进安全对齐

    arXiv
    2610.07935
    发表
    层
    训练与数据层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B
    摘要SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。

    SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。

    深度解读完整解读
  15. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  16. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  17. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  19. 攻击arXiv 2610.06093

    研究评测训练数据提取风险的跨语言迁移

    用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII

    arXiv
    2610.06093
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等 7 个
    摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。

    这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。

    深度解读完整解读
  20. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
加载更多