跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 33 篇
筛选1

攻击类型

越狱3提示注入14投毒与后门4

攻击技术

梯度与表征优化1自动化搜索1编码与混淆1跨模态载荷2针对防御1潜伏触发5

模型自身风险

欺骗与谋划1失准与价值偏离1Agent 危险操作4危险能力2拒答失当2

防御类型

模型加固5检测与过滤4指令与数据隔离1权限与审批2监控与审计1

影响

有害内容3越权操作13数据与隐私泄露4输出被操纵6可用性与可靠性2监督失效1

系统形态

模型与 API3LLM 应用3AI Agent27编程 Agent7网页与电脑操作5多智能体2具身与机器人1

攻击者权限

黑盒1

攻击面/入口

用户输入6网页与界面7文档与消息4工具返回8工具与技能描述2代码仓库与依赖2检索语料1记忆写入2Agent 间消息1图像与音视频2权重与梯度2分发渠道2

层

提示层1模型层1应用层27训练与数据层4

系统组件

MCP 与技能3记忆1RAG1护栏与评审5监控器2权限与沙箱3微调与开源权重2视觉4多模态4

被测模型厂商

OpenAI123Qwen（阿里）95Anthropic89Google73DeepSeek64Meta52智谱 GLM46Kimi（月之暗面）44xAI22Mistral19MiniMax16Microsoft11字节跳动7其他47
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 378 篇还没打标签，不在筛选结果里。
被测模型厂商：其他话题：Agent 安全清除全部

另有 378 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  3. 风险行为arXiv:2609.32701 ·

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密

    多智能体测试Terra、Luna、GPT-5.6 Sol 等 6 个应用层
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    完整解读
  5. 分析与理论arXiv:2610.06191 ·

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析检索智能体判定结果无用后仍不停止检索的整合失败

    AI Agent测试Search-R1、Qwen2.5-7B、Llama-3.1-8B 等 7 个应用层
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    完整解读
  6. 防御arXiv:2610.05637 ·

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    模型与 API测试VisionReasoner-7B、Claude Sonnet 4.6、Gemini 3.5 Flash 等 5 个训练与数据层

    摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。

    完整解读
  7. 评测与基准arXiv:2610.03938 ·

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    AI Agent测试AdaReasoner-7B-Randomized、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个应用层
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    完整解读
  9. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  13. 其他arXiv:2607.28568 ·

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

    编程 Agent测试Frontis-MA1-35B、Frontis-MA1-30B、Qwen3.6-35B-A3B 等 15 个训练与数据层
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    完整解读
加载更多