跳到正文
10月9日 · 周五

全部论文

找到 229 篇
筛选6

攻击类型

越狱24提示注入41投毒与后门21模型篡改2提取与窃取6检测规避5恶意使用9

攻击技术

梯度与表征优化1自动化搜索5多轮渐进2编码与混淆4角色扮演与说服2跨模态载荷5针对防御3潜伏触发6诱导选用2

模型自身风险

欺骗与谋划13奖励作弊7失准与价值偏离10Agent 危险操作29危险能力11拒答失当15幻觉与编造10偏见与歧视3

防御类型

模型加固11推理时干预3检测与过滤13指令与数据隔离1权限与审批5监控与审计9水印与溯源1

影响

有害内容27越权操作43数据与隐私泄露18输出被操纵45可用性与可靠性22监督失效25滥用能力提升7

系统形态

模型与 API84LLM 应用13AI Agent145编程 Agent42网页与电脑操作15多智能体13具身与机器人7

攻击者权限

黑盒6

攻击面/入口

用户输入50网页与界面8文档与消息16工具返回19工具与技能描述9代码仓库与依赖5检索语料3记忆写入12Agent 间消息4图像与音视频12训练数据4权重与梯度3分发渠道4推理服务与硬件1

层

提示层25模型层50应用层139训练与数据层15

系统组件

MCP 与技能12记忆20RAG2护栏与评审31监控器18推理链6权限与沙箱10微调与开源权重3视觉15音频6视频3图像生成5多模态25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 455 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体系统形态：具身与机器人清除全部

另有 455 篇论文还没打上分类标签，暂不在筛选结果里。

  5. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  9. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    C2P-CLIP、ForgeLens、D3-Im 等 10 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  11. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  15. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  19. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult，实测 Agent 动作门控栈的层间错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  20. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
加载更多