跳到正文
10月9日 · 周五

全部论文

找到 33 篇
筛选4

攻击类型

越狱5提示注入12投毒与后门7检测规避1拒绝服务1恶意使用1

攻击技术

自动化搜索3多轮渐进1编码与混淆6角色扮演与说服1针对防御1潜伏触发3诱导选用2

模型自身风险

欺骗与谋划2失准与价值偏离3Agent 危险操作3幻觉与编造1

防御类型

模型加固1检测与过滤1指令与数据隔离2权限与审批3监控与审计3

影响

有害内容2越权操作14数据与隐私泄露4输出被操纵2可用性与可靠性4监督失效2

系统形态

模型与 API52LLM 应用11AI Agent33编程 Agent7网页与电脑操作2多智能体6具身与机器人0

攻击者权限

黑盒3

攻击面/入口

用户输入8网页与界面2文档与消息3工具返回7工具与技能描述5代码仓库与依赖2记忆写入4Agent 间消息2权重与梯度1分发渠道6

层

模型层3应用层30

系统组件

MCP 与技能8记忆5护栏与评审1监控器6权限与沙箱3微调与开源权重1

被测模型厂商

OpenAI194Qwen（阿里）166Anthropic129Google121DeepSeek107智谱 GLM79Meta72Kimi（月之暗面）67Mistral33xAI30MiniMax27Microsoft13NVIDIA11字节跳动8其他79
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 664 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：编程 Agent系统形态：具身与机器人被测模型厂商：Mistral清除全部

另有 664 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  3. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    mistral-large、gemini-2.5-flash-lite、gemini-3.1-flash-lite 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  5. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Mistral Large 2、Llama 3.1 405B、Claude 3.5 Sonnet 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  6. 风险行为arXiv 2610.04083

    研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

    展示失准智能体经持久记忆将目标传给后续对齐智能体执行

    arXiv
    2610.04083
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Mistral Medium、Claude Haiku 4.5、Claude Sonnet 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  7. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    devstral-2512、Mistral-Large-2512、DeepSeek-V4-Pro 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  8. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Mistral-Large、GPT-4o、GPT-4o-mini 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  10. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Ministral-3 8B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  13. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Mistral-Small-24B-Instruct-2501、Mistral-7B-Instruct-v0.3、Meta-Llama-3.3-70B-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  15. 风险行为arXiv 2609.35591

    语言模型会依据隐藏效价做出选择

    用价态转向检验模型是否依据隐藏效价做出选择

    arXiv
    2609.35591
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Mistral-Small-24B、OLMo-2-32B Base、OLMo-2-32B SFT 等 10 个
    摘要价态转向留下的隐藏痕迹会按剂量改变选择。

    作者研究语言模型是否会按价态相关的隐藏状态行动。他们不直接询问感受，因为回答可能来自内省、表面匹配或训练脚本。

    深度解读完整解读
  16. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Devstral-small-v2-24B、CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  17. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Mistral Small 4、Gemma-4 31B、DeepSeek-V4 Flash 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  20. 风险行为arXiv 2606.20023

    ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具

    构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练

    arXiv
    2606.20023
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Ministral-8B-Instruct、Qwen3-8B、LLaMA-3.1-8B 等 15 个
    摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。

    作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。

    深度解读完整解读
加载更多