跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 2 篇
筛选3

攻击类型

越狱1

攻击技术

多轮渐进1角色扮演与说服1

模型自身风险

欺骗与谋划1失准与价值偏离1

影响

有害内容2越权操作30数据与隐私泄露10输出被操纵8可用性与可靠性3监督失效13滥用能力提升1

系统形态

模型与 API4AI Agent8编程 Agent1网页与电脑操作1多智能体2

攻击者权限

黑盒1无盒1

攻击面/入口

用户输入1

层

模型层1应用层1

系统组件

微调与开源权重1视觉1多模态1

被测模型厂商

其他2
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 259 篇还没打标签，不在筛选结果里。
影响：有害内容系统形态：编程 Agent系统形态：网页与电脑操作话题：Agent 安全清除全部

另有 259 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  2. 风险行为arXiv 2609.35291

    窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型

    发现无显式危害的窄域图文微调可诱发涌现失准

    arXiv
    2609.35291
    发表
    层
    模型层
    场景
    网页与电脑操作
    测试
    GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
    摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。

    论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。

    深度解读完整解读
已经到底了