跳到正文
10月9日 · 周五

全部论文

找到 22 篇
筛选2

攻击类型

提示注入4投毒与后门1检测规避1恶意使用1

攻击技术

编码与混淆1跨模态载荷1潜伏触发1

模型自身风险

Agent 危险操作6拒答失当1

防御类型

推理时干预1检测与过滤1监控与审计1

影响

有害内容1越权操作6数据与隐私泄露2输出被操纵3可用性与可靠性3监督失效2

系统形态

模型与 API84LLM 应用13AI Agent144编程 Agent42网页与电脑操作15多智能体13具身与机器人7

攻击面/入口

用户输入3网页与界面5文档与消息1代码仓库与依赖1图像与音视频2权重与梯度1分发渠道1

层

模型层1应用层20训练与数据层1

系统组件

MCP 与技能1记忆2护栏与评审2监控器2微调与开源权重1视觉4视频1多模态5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 430 篇还没打标签，不在筛选结果里。
系统形态：网页与电脑操作系统形态：具身与机器人清除全部

另有 430 篇论文还没打上分类标签，暂不在筛选结果里。

  8. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  10. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  11. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  12. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  13. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  14. 评测与基准arXiv 2609.26618

    NavSafe-∞：在真实感环境中评测闭环驾驶安全

    提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现

    arXiv
    2609.26618
    发表
    层
    应用层
    场景
    具身与机器人
    摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。

    NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。

    深度解读完整解读
  18. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  19. 评测与基准arXiv 2609.15315

    安全强化学习评测指标：SafeRLEval 开源评测套件

    提出 SafeRLEval，评测安全强化学习策略的越界与代价偏差

    arXiv
    2609.15315
    发表
    层
    训练与数据层
    场景
    具身与机器人
    摘要SafeRLEval 用越界率、归一化偏差和安全等级补充 E[C]≤d，并要求同时看贪心部署。

    Spoor、Plaat 与 Moerland 认为，安全强化学习沿用 CMDP 的 E[C]≤d，只报告平均是否安全，看不出越界频率和幅度，也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval：越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+。用 IQM 跨任务和安全界聚合。

    深度解读完整解读
加载更多