跳到正文
10月9日 · 周五

全部论文

找到 24 篇
筛选6

攻击类型

提示注入12投毒与后门5提取与窃取2

攻击技术

梯度与表征优化1自动化搜索1编码与混淆1针对防御1潜伏触发5诱导选用1

模型自身风险

欺骗与谋划1失准与价值偏离1Agent 危险操作2拒答失当1

防御类型

检测与过滤1指令与数据隔离2权限与审批3监控与审计2

影响

有害内容7越权操作50数据与隐私泄露15输出被操纵22可用性与可靠性9监督失效28滥用能力提升4

系统形态

模型与 API63LLM 应用13AI Agent59编程 Agent13网页与电脑操作5多智能体6具身与机器人2

攻击者权限

灰盒1

攻击面/入口

用户输入3网页与界面3文档与消息2工具返回2工具与技能描述2代码仓库与依赖2记忆写入3Agent 间消息5训练数据1权重与梯度1分发渠道3

层

模型层2应用层20训练与数据层2

系统组件

MCP 与技能6记忆3护栏与评审1监控器2权限与沙箱5微调与开源权重1视频1多模态1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 426 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体系统形态：具身与机器人清除全部

另有 426 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  10. 防御arXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用对象解析与确定性提交门控制多智能体组合信息流

    arXiv
    2610.00371
    发表
    层
    应用层
    场景
    多智能体
    摘要配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    深度解读完整解读
  11. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    编程 Agent
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  12. 防御arXiv 2608.30083

    研究者提出零知识谓词证明网关，在 MCP 与 Agent2Agent 上实现 Agent 间数据最小化

    提出零知识谓词证明网关，让 Agent 只交换谓词证明而不传敏感值

    arXiv
    2608.30083
    发表
    层
    应用层
    场景
    多智能体
    摘要作者将 source integrity 而不是证明开销视为绑定约束。

    Proof Gateway 是一套已运行的智能体间数据最小化机制：用治理谓词的零知识证明代替原始值和自然语言自述。

    深度解读完整解读
  13. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  14. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  15. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  16. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  17. 防御arXiv 2609.01677

    Skill-as-API：面向智能体软件工程的机密多智能体协作协议

    提出 Skill-as-API，防止协作通道泄露 skill 代码与系统提示词

    arXiv
    2609.01677
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    摘要协议把 skill 正文留在所有者侧，四层限制发现内容、权限期限和注入拼接。

    Skill-as-API 是面向智能体软件工程的协调协议，用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁：经通道或命名空间抽取专有方法，用注入让被调用模型输出系统提示词，以及协作结束后权限继续保留。

    深度解读完整解读
  18. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  20. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    编程 Agent
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
加载更多