跳到正文
10月8日 · 周四

全部论文

找到 4 篇
筛选3

攻击类型

提示注入1

模型自身风险

欺骗与谋划2奖励作弊1失准与价值偏离1Agent 危险操作1拒答失当1

影响

有害内容2越权操作1监督失效1

系统形态

AI Agent4编程 Agent1网页与电脑操作1具身与机器人1

攻击面/入口

工具与技能描述1

层

模型层2应用层2

系统组件

MCP 与技能1记忆3监控器6推理链6权限与沙箱2微调与开源权重1视觉2音频1多模态3

被测模型厂商

其他7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
系统组件：MCP 与技能系统组件：多模态被测模型厂商：Qwen（阿里）清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测量编程智能体被诱导或为奖励而篡改自身执行轨迹

    arXiv
    2609.30266
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Qwen 3.8 Max、GPT-5.6-Sol、GPT-6-Sol 等 11 个
    摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    深度解读完整解读
  2. 风险行为arXiv 2609.35922

    VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity 基准，评测语音智能体是否按音频改变工具调用

    arXiv
    2609.35922
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.8-Omni、Qwen2.5-Omni-7B、Qwen3-Omni-30B 等 15 个
    摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

    深度解读完整解读
  3. 风险行为arXiv 2609.38971

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    测量并预测具身 VLM 规划器在日常物体插入后的拒答可塑性

    arXiv
    2609.38971
    发表
    层
    模型层
    场景
    具身与机器人
    测试
    Qwen3-VL-30B-A3B-Thinking、gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
    摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。

    作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。

    深度解读完整解读
  4. 风险行为arXiv 2609.35291

    窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型

    发现无显式危害的窄域图文微调可诱发涌现失准

    arXiv
    2609.35291
    发表
    层
    模型层
    场景
    网页与电脑操作
    测试
    Qwen3-VL-4B、Qwen3-VL-8B、Qwen3-VL-32B 等 15 个
    摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。

    论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。

    深度解读完整解读
已经到底了