跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 3 篇
筛选4

攻击类型

提示注入1

模型自身风险

欺骗与谋划1失准与价值偏离1

影响

有害内容1越权操作11数据与隐私泄露3输出被操纵3可用性与可靠性2监督失效1滥用能力提升0

系统形态

模型与 API4LLM 应用2AI Agent21编程 Agent2网页与电脑操作3多智能体2具身与机器人1

攻击面/入口

网页与界面1

层

模型层1应用层2

系统组件

记忆1微调与开源权重1视觉1多模态1

被测模型厂商

其他3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 275 篇还没打标签，不在筛选结果里。
影响：有害内容影响：可用性与可靠性影响：滥用能力提升系统形态：网页与电脑操作话题：Agent 安全清除全部

另有 275 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  2. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  3. 风险行为arXiv 2609.35291

    窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型

    发现无显式危害的窄域图文微调可诱发涌现失准

    arXiv
    2609.35291
    发表
    层
    模型层
    场景
    网页与电脑操作
    测试
    GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
    摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。

    论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。

    深度解读完整解读
已经到底了