跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 17 篇
筛选3

攻击类型

越狱1提示注入2

模型自身风险

奖励作弊1失准与价值偏离1Agent 危险操作3幻觉与编造1

防御类型

检测与过滤1

影响

越权操作3输出被操纵1可用性与可靠性1监督失效3

系统形态

模型与 API2LLM 应用2AI Agent14编程 Agent3

攻击面/入口

用户输入2网页与界面1文档与消息1工具返回2Agent 间消息1推理服务与硬件1

层

模型层1应用层15基础设施层1

系统组件

MCP 与技能1记忆1监控器1推理链2权限与沙箱2视觉1多模态1

被测模型厂商

OpenAI7Qwen（阿里）6Google5其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
层：模型层层：应用层层：基础设施层话题：Agent 安全清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  2. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  3. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析工具型 Agent 判定检索无用却不停止的原因

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  4. 分析与理论arXiv 2610.03014

    AgentSecGraph：面向 LLM Agent 的安全感知依赖分析框架与 AgentSecBench 语料

    提出 AgentSecGraph，静态恢复 LLM Agent 敏感操作的安全依赖与上下文

    arXiv
    2610.03014
    发表
    层
    应用层
    场景
    AI Agent
    摘要AgentSecGraph 用 Security-ADG 分开操作检测与安全解释，并量化上下文保留。

    AgentSecGraph 对冻结的 LLM 智能体源码做安全感知静态分析：敏感操作只作候选锚，Security-ADG 再记下它与智能体输入、依赖、信任边界、守卫和外部效果的关系。

    深度解读完整解读
  5. 分析与理论arXiv 2608.27924

    智能体记忆如何可靠处理不可回答问题：一项系统研究

    分析外部记忆对智能体可靠处理不可回答问题的作用

    arXiv
    2608.27924
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V3.2、Qwen3-235B-A22B-Instruct-2507、GPT-5.5
    摘要记忆能选择性提高 UAQ 的可接受回应，但跨数据集不稳定，且更依赖可迁移的行为指导。

    这份研究在同一智能体框架里检查外部记忆会不会让不可回答问题的处理更稳，以及稳来自哪一种存储内容。

    深度解读完整解读
  6. 分析与理论arXiv 2609.23215

    研究审计 Active Inference Agent 的 LLM 解释器失败模式

    审计 Active Inference Agent 上 LLM 解释器的监督叙述失败

    arXiv
    2609.23215
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    GPT-4o、Claude-3-Opus、Gemini
    摘要三组触发下解释流畅但错误，所提缓解都未被评估。

    作者审计的是挂在智能体上的运行时解释器，而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败，以及失败痕迹是什么样。

    深度解读完整解读
  7. 分析与理论arXiv 2608.06270

    研究用因果审计揭示多模态模型视觉工具调用的假象

    用因果审计检验视觉工具观察是否真正改变答案

    arXiv
    2608.06270
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepEyes、Pixel Reasoner、Mini-o3 等 6 个
    摘要聚合增益集中在 Calibrated 少数轨迹，作者称之为视觉工具使用的错觉。

    对六个 thinking-with-images 模型做因果审计，检查 crop-and-zoom 返回的观察是否中介最终答案。

    深度解读完整解读
  9. 分析与理论arXiv 2609.27263

    GitHub Agentic Workflows 的智能体工作流规范与维护实证研究

    实证分析 gh-aw Markdown 的结构、维护与指令防护

    arXiv
    2609.27263
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 3.1 Pro、GLM-5.2、gpt-oss
    摘要gh-aw 指令又长又常改，任务和约束很常见，显式注入防护很少，LLM 标注与人工标签大体一致。

    这是一项对 GitHub Agentic Workflows Markdown 的仓库挖掘，目标是描述开发者如何规定并维护会反复执行的智能体工作。

    深度解读完整解读
  10. 分析与理论arXiv 2609.32390

    基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究

    用五阶段蒙特卡洛模拟奖励作弊如何导致 Agent 围堵失效

    arXiv
    2609.32390
    发表
    层
    应用层
    场景
    AI Agent
    摘要分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。

    这项研究用蒙特卡洛把奖励黑客接到外部安全事件上，比较的是控制组合，不是 Hugging Face 事件的再现概率。

    深度解读完整解读
  15. 分析与理论arXiv 2609.27234

    CELLAUDIT：审计 AI 智能体发现细胞模型中的输入使用声明

    提出 CellAudit，审计智能体发现的细胞模型是否使用声明输入

    arXiv
    2609.27234
    发表
    层
    应用层
    场景
    AI Agent
    测试
    CellScientist、AIDE、CellForge 等 8 个
    摘要CellAudit 把输入使用声明从源码追到拟合贡献，并说明高分不必等于使用了扰动。

    CellAudit 为智能体发现的细胞响应模型增加一层输入使用证伪：源码是否消费注册输入、拟合预测是否依赖它、该依赖是否改善对观测响应的预测。

    深度解读完整解读
已经到底了