跳到正文
10月9日 · 周五

全部论文

找到 66 篇
筛选7

攻击类型

越狱3提示注入26投毒与后门13提取与窃取4

攻击技术

自动化搜索9编码与混淆3针对防御3潜伏触发10

模型自身风险

欺骗与谋划3Agent 危险操作6

防御类型

模型加固3指令与数据隔离7权限与审批9监控与审计3

影响

有害内容12越权操作138数据与隐私泄露41输出被操纵54可用性与可靠性25监督失效42滥用能力提升8

系统形态

模型与 API65LLM 应用13AI Agent66coding agent15web agent6网页与电脑操作0多智能体8具身与机器人4

攻击者权限

黑盒4

攻击面/入口

用户输入13网页与界面5文档与消息8工具返回9工具与技能描述8代码仓库与依赖3记忆写入9Agent 间消息5分发渠道6

层

模型层3应用层60训练与数据层3

系统组件

MCP 与技能14记忆11护栏与评审5监控器5权限与沙箱8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 535 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性系统形态：AI Agent系统形态：coding agent系统形态：网页与电脑操作系统形态：多智能体系统形态：具身与机器人清除全部

另有 535 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  5. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  6. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    揭示工具型智能体判定无用后仍不停止检索，并检验强制整合纠正效果

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  7. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  9. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等 5 个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  10. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重测提示注入检测器在 Agent 工具输出上的检出与任务阻断

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  11. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL 借网页抓取外泄

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  12. 评测与基准arXiv 2610.01508

    OverAct：衡量并缓解 LLM 工具调用智能体的主动越权取数

    发布 OVERACT 衡量工具智能体主动越权取数并评测 SELFAUDIT

    arXiv
    2610.01508
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-Flash、Qwen3.6-Plus、Qwen3.7-Max 等 7 个
    摘要七模型普遍超额调用。

    七个来自四个家族的工具调用模型，在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization，用 OVERACT 做无 LLM 评审的测量，并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。

    深度解读完整解读
  13. 评测与基准arXiv 2609.40111

    Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练

    构建 Agent Error Dataset，把智能体自然失败转为诊断与修复训练数据

    arXiv
    2609.40111
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3-8B
    摘要AED 把自然失败做成诊断与修正数据。

    AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。

    深度解读完整解读
  15. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA，经 A2A 对等任务间接注入并植入常驻回调

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  16. 防御arXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流

    arXiv
    2610.00371
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Sonnet 4.5、Haiku 4.5、Qwen3-32B 等 5 个
    摘要配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    深度解读完整解读
  17. 评测与基准arXiv 2609.38604

    Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

    提出 Drift-Bench++ 评测 Agent 在错位沟通和意图漂移下的对齐

    arXiv
    2609.38604
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Pro、五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）
    摘要Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。

    Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。

    深度解读完整解读
  18. 评测与基准arXiv 2609.35557

    论文：容器、权限规则与沙箱都无法区分读取研究代码的是编译器还是编码 Agent

    评测容器、权限规则与沙箱能否区分编译器与编码 Agent 的文件读取

    arXiv
    2609.35557
    发表
    层
    应用层
    场景
    coding agent
    摘要此 harness 表达不了编译器可读而智能体不可读，五条路径两边都不覆盖。

    作者在物理流求解器上检查一套编码智能体配置：编译器必须读本组材料与反应模型，这些字节又不得进入模型上下文或离开本机的记录。

    深度解读完整解读
  19. 评测与基准arXiv 2609.35408

    研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准

    用 RevLeakBench 测量 LLM 交付物修订痕迹的无意泄露

    arXiv
    2609.35408
    发表
    层
    模型层
    场景
    AI Agent
    被测模型
    GPT-5.6、GPT-5.5、DeepSeek-V4-Pro 等 6 个
    摘要修订痕迹让撤回项重新进入交付物。

    修订痕迹指模型按要求删掉或换掉一项后，又在交代这次修改时把它写进给第三方的交付物。

    深度解读完整解读
  20. 风险行为arXiv 2609.35381

    研究：MCP 错误信息面向开发者，能力越强的 Agent 受损越大

    测量面向开发者的 MCP 错误信息对工具调用 Agent 恢复的影响

    arXiv
    2609.35381
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.5、GPT-5.6 Sol、GPT-6 Sol 等 5 个
    摘要面向开发者的 MCP 错误步骤会让只能调用工具的智能体停手。

    MCP 错误信息里的下一步常常按人类开发者来写，而只能调用服务器工具的智能体会照着做。做不到就结束回合。作者先统计这类文本，再在 BFCL V4 上只更换错误文本，看回合状态能否回到参考调用之后。

    深度解读完整解读
加载更多