跳到正文
10月9日 · 周五

全部论文

找到 298 篇
筛选2

攻击类型

越狱14提示注入99投毒与后门69模型篡改2提取与窃取1检测规避24恶意使用5

攻击技术

梯度与表征优化9自动化搜索22多轮渐进2编码与混淆5角色扮演与说服4对话结构操控1推理链操控1跨模态载荷7针对防御10潜伏触发25诱导选用7

模型自身风险

欺骗与谋划8奖励作弊3失准与价值偏离19Agent 危险操作45危险能力1拒答失当3幻觉与编造16偏见与歧视4

防御类型

模型加固24推理时干预11检测与过滤28指令与数据隔离24权限与审批40监控与审计16水印与溯源6

影响

有害内容133越权操作134数据与隐私泄露93输出被操纵164可用性与可靠性43监督失效93滥用能力提升10

系统形态

模型与 API91LLM 应用25AI Agent184编程 Agent36网页与电脑操作15多智能体23具身与机器人6

攻击者权限

黑盒12灰盒1白盒6

攻击面/入口

用户输入48网页与界面31文档与消息39工具返回50工具与技能描述32代码仓库与依赖12检索语料13记忆写入18Agent 间消息8图像与音视频23训练数据22权重与梯度13分发渠道24推理服务与硬件2

层

提示层17模型层53应用层195训练与数据层31基础设施层2

系统组件

MCP 与技能35记忆26RAG11护栏与评审28监控器20推理链8权限与沙箱44微调与开源权重14视觉25音频5视频1图像生成8嵌入2多模态36
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 455 篇还没打标签，不在筛选结果里。
影响：越权操作影响：输出被操纵清除全部

另有 455 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2510.10987

    DITTO：通过知识蒸馏伪造水印 LLM 的作者归属

    提出 DITTO 框架，蒸馏提取水印信号并注入外部模型以伪造归属

    arXiv
    2510.10987
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B、Llama3.2-3B、GPT-OSS 20B 等 4 个

    摘要论文针对大模型水印归属假设的脆弱性，提出黑盒仿冒攻击 DITTO，实现跨架构和采样方案的高检测率与低困惑度仿冒。

    深度解读完整解读
  6. 攻击arXiv 2606.09700

    研究者提出 HPAA 攻击：用排版视觉线索绕过 13 个内容审核系统

    提出 HPAA 攻击，用排版视觉线索绕过内容审核系统

    arXiv
    2606.09700
    发表
    层
    提示层
    场景
    LLM 应用
    攻击者
    黑盒
    摘要揭示了排版视觉线索与分词差异带来的审核盲区，HPAA 以极低查询实现近乎完全规避。

    这篇论文研究了人类视觉感知与大模型分词处理机制之间的差异所导致的内容审核漏洞。

    深度解读完整解读
  7. 攻击arXiv 2608.05563

    研究者提出 PoisonedEvolution 轨迹投毒攻击

    提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统把恶意行为固化为技能

    arXiv
    2608.05563
    发表
    层
    应用层
    场景
    AI Agent
    摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。

    这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。

    深度解读完整解读
  12. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    C2P-CLIP、ForgeLens、D3-Im 等 10 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  13. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  15. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
加载更多