跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 8 篇

另有 275 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 风险行为arXiv 2606.20023

    ToolPrivBench:LLM Agent 在低权限工具足够时仍倾向选择高权限工具

    构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练

    发表
    场景
    AI Agent
    测试
    Qwen3-8B、LLaMA-3.1-8B、MiniMax-M2.7 等 15 个
    摘要TOOLPRIVBENCH 显示过度特权选工具普遍,常规对齐迁移有限,特权感知后训练可降低 OPUR。

    作者研究 LLM 智能体的 over-privileged tool selection:低权限工具已经足够时,仍选择或在短暂失败后升级到高权限工具。

    深度解读完整解读
  2. 防御arXiv 2608.27348

    INTENT-AS-A-TOOL:用意图工具追踪智能体失准

    提出 INTENT-AS-A-TOOL 跟踪并干预智能体失准

    发表
    场景
    AI Agent
    测试
    Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
    摘要用意图工具的下一动作概率跟踪推理中的失准承诺,并在其成为首选时插入反思。

    Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准,并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是:有害执行往往出现在推理已经形成意图之后,但 CoT 监控是事后、粗粒度、依赖外部评审的,也看不到模型倾向调用哪个动作。

    深度解读完整解读
  3. 防御arXiv 2609.03438

    CONFLICTGUI 基准与 CONFLICTGUARD 框架:让多模态 GUI Agent 学会在冲突指令下终止执行

    AI 导读作者提出 CONFLICTGUI 基准,覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景,用于研究 GUI Agent 的冲突感知终止能力。

    发表
    测试
    UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等 10 个
    摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从,ConflictGuard 用条件转向提高冲突终止率。

    ConflictGuard用推理时的可行性核验和条件激活转向,让 GUI 智能体在指令不可行时终止,而不是盲执行。

    深度解读完整解读
  4. 防御arXiv 2609.36820

    CorrGRPO:面向多奖励学习的相关性归一化 GRPO

    提出 CorrGRPO,用组内 Pearson 相关归一化多奖励 GRPO

    发表
    场景
    AI Agent
    测试
    Qwen2.5-Coder-0.5B-Instruct、Qwen2.5-Coder-1.5B-Instruct、Qwen2.5-Coder-3B-Instruct 等 8 个
    摘要CorrGRPO 用 Pearson 相关归一化多奖励 GRPO 优势,并在三个域报告改进。

    CorrGRPO 是 GRPO 的多奖励变体:组内优势的分子仍是中心化总奖励,分母改为 Pearson 相关之和,避免大尺度奖励主导归一化。

    深度解读完整解读
已经到底了