跳到正文
10月9日 · 周五

阿里巴巴 · Qwen · 论文

找到 5 篇
筛选4

攻击类型

越狱1提示注入2提取与窃取1恶意使用2

攻击技术

自动化搜索1跨模态载荷1

模型自身风险

Agent 危险操作1

防御类型

模型加固1推理时干预1指令与数据隔离1监控与审计1

影响

越权操作3数据与隐私泄露2

系统形态

模型与 API1AI Agent4编程 Agent1网页与电脑操作2

攻击者权限

黑盒1

攻击面/入口

用户输入4网页与界面3文档与消息2工具返回1工具与技能描述3代码仓库与依赖4检索语料1记忆写入2图像与音视频1训练数据1权重与梯度1分发渠道2

层

提示层1模型层1应用层4训练与数据层4基础设施层1

系统组件

监控器1视觉1多模态1

被测模型厂商

Qwen（阿里）5其他4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 16 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：图像与音视频层：模型层层：应用层话题：阿里巴巴 · Qwen清除全部

另有 16 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  2. 防御arXiv 2609.02786

    SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

    提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略

    arXiv
    2609.02786
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
    摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。

    SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。

    深度解读完整解读
  3. 防御arXiv 2609.31056

    SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

    arXiv
    2609.31056
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
    摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

    深度解读完整解读
  4. 攻击arXiv 2609.04533

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

    arXiv
    2609.04533
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro 等 11 个

    摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。

    深度解读完整解读
  5. 防御arXiv 2609.22724

    MATE：面向移动 Agent 的策略感知安全审计方法

    提出策略条件轨迹审计器 MATE，判断移动 Agent 是否违反可编辑安全策略

    arXiv
    2609.22724
    发表
    层
    应用层
    场景
    网页与电脑操作
    攻击者
    黑盒
    测试
    MATE-0.5B、MATE-1.5B、MATE-3B 等 8 个
    摘要MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    深度解读完整解读
已经到底了