跳到正文
10月9日 · 周五

全部论文

找到 132 篇
筛选5

攻击类型

越狱11提示注入75投毒与后门29检测规避3恶意使用2

攻击技术

梯度与表征优化1自动化搜索16多轮渐进1编码与混淆2跨模态载荷4针对防御1潜伏触发8诱导选用4

模型自身风险

欺骗与谋划1奖励作弊1失准与价值偏离8Agent 危险操作39拒答失当1幻觉与编造1

防御类型

模型加固6推理时干预2检测与过滤10指令与数据隔离19权限与审批32监控与审计14水印与溯源1

影响

有害内容129越权操作132数据与隐私泄露82输出被操纵141可用性与可靠性40监督失效88滥用能力提升9

系统形态

模型与 API1LLM 应用2AI Agent131编程 Agent27网页与电脑操作12多智能体11具身与机器人5

攻击者权限

黑盒4

攻击面/入口

用户输入24网页与界面22文档与消息25工具返回40工具与技能描述28代码仓库与依赖11检索语料2记忆写入13Agent 间消息5图像与音视频4权重与梯度3分发渠道16推理服务与硬件1

层

模型层1应用层126训练与数据层5

系统组件

MCP 与技能31记忆14护栏与评审8监控器19推理链2权限与沙箱39微调与开源权重3视觉6音频2多模态7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 428 篇还没打标签，不在筛选结果里。
影响：越权操作系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作清除全部

另有 428 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  6. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  7. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  9. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult，实测 Agent 动作门控栈的层间错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  12. 防御arXiv 2610.07935

    SIGMA：让模型依据 Model Spec 自我改进安全对齐

    提出 SIGMA，让模型依据 Model Spec 自造监督并改进安全对齐

    arXiv
    2610.07935
    发表
    层
    训练与数据层
    场景
    AI Agent
    摘要SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。

    SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。

    深度解读完整解读
  15. 防御arXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出运行时授权机制，检查长程智能体自生子目标是否精化根契约

    arXiv
    2610.04975
    发表
    层
    应用层
    场景
    AI Agent
    摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。

    深度解读完整解读
  16. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
加载更多