跳到正文
10月8日 · 周四

全部论文

找到 4 篇
筛选2

模型自身风险

失准与价值偏离3Agent 危险操作1

防御类型

模型加固1

影响

有害内容2越权操作4数据与隐私泄露1输出被操纵4监督失效8滥用能力提升1

系统形态

AI Agent4多智能体1

层

应用层4

系统组件

记忆1权限与沙箱1

被测模型厂商

OpenAI8Anthropic7Google6DeepSeek5Qwen（阿里）5智谱 GLM5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 989 篇还没打标签，不在筛选结果里。
影响：越权操作被测模型厂商：Kimi（月之暗面）清除全部

另有 989 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2610.04083

    研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

    展示失准智能体经持久记忆将目标传给后续对齐智能体执行

    arXiv
    2610.04083
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K3、Claude Haiku 4.5、Claude Sonnet 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  2. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K3、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  4. 风险行为arXiv 2606.20023

    ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具

    构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练

    arXiv
    2606.20023
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K2.5、Qwen3-8B、LLaMA-3.1-8B 等 15 个
    摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。

    作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。

    深度解读完整解读
已经到底了