跳到正文
10月9日 · 周五

全部论文

找到 312 篇
筛选7

攻击类型

越狱14提示注入40投毒与后门52模型篡改10提取与窃取20检测规避5拒绝服务1恶意使用6

攻击技术

梯度与表征优化4自动化搜索10多轮渐进4编码与混淆2角色扮演与说服2跨模态载荷1侧信道1针对防御9潜伏触发23诱导选用3

模型自身风险

欺骗与谋划19奖励作弊34失准与价值偏离21Agent 危险操作18危险能力8拒答失当15幻觉与编造4偏见与歧视2

防御类型

模型加固77推理时干预1检测与过滤11指令与数据隔离4权限与审批10监控与审计14水印与溯源2

影响

有害内容39越权操作41数据与隐私泄露32输出被操纵45可用性与可靠性16监督失效43滥用能力提升5

系统形态

模型与 API161LLM 应用57AI Agent380编程 Agent92网页与电脑操作25多智能体53具身与机器人14

攻击者权限

黑盒12灰盒3白盒10

攻击面/入口

用户输入43网页与界面2文档与消息10工具返回11工具与技能描述17代码仓库与依赖11检索语料3记忆写入10Agent 间消息13图像与音视频9训练数据41权重与梯度28分发渠道20推理服务与硬件3

层

提示层79模型层262应用层143训练与数据层159基础设施层10

系统组件

MCP 与技能21记忆13RAG1护栏与评审19监控器25推理链12权限与沙箱13微调与开源权重33视觉14音频5视频1图像生成6多模态25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 426 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：多智能体系统形态：具身与机器人层：应用层层：训练与数据层层：基础设施层清除全部

另有 426 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  3. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱，在 IDE 编程 Agent 多轮流程中诱导生成有害代码

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  4. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  6. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  8. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    arXiv
    2610.10203
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。

    深度解读完整解读
  10. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  17. 评测与基准arXiv 2610.08540

    论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化

    arXiv
    2610.08540
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    深度解读完整解读
加载更多