跳到正文
10月10日 · 周六

全部论文

找到 40 篇
筛选5

攻击类型

提示注入14

模型自身风险

奖励作弊4危险能力5

防御类型

指令与数据隔离5权限与审批4

影响

越权操作8数据与隐私泄露5输出被操纵7可用性与可靠性4监督失效5

系统形态

模型与 API351LLM 应用95AI Agent485coding agent102science agent20web agent20网页与电脑操作15多智能体60具身与机器人19

攻击面/入口

网页与界面13

层

模型层0应用层40基础设施层0

系统组件

RAG3权限与沙箱4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 277 篇还没打标签，不在筛选结果里。
系统形态：science agent系统形态：web agent层：模型层层：应用层层：基础设施层清除全部

另有 277 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  3. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  4. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  8. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  9. 评测与基准arXiv 2610.05140

    AutoSciBench：自动生成科学智能体评测基准的框架

    提出 AutoSciBench，循环生成科学智能体评测任务

    arXiv
    2610.05140
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 5、Claude Opus 4.8、Claude Opus 4.7 等 10 个
    摘要AutoSciBench 用概念、配方和求解反馈自动构造并加难科学智能体基准。

    AutoSciBench 研究科学智能体基准能否自动构造，并随 solver 行为迭代改编。

    深度解读完整解读
  11. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench，评测智能体自建评测对目标基准的排序一致性

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    science agent
    被测模型
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等 9 个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  16. 其他arXiv 2609.31562

    面向自主科学发现的智能体经济基础设施

    勾勒科学智能体经济以协调验证、信用与安全

    arXiv
    2609.31562
    发表
    层
    应用层
    场景
    science agent、多智能体
    摘要作者主张以智能体经济管理自主科学发现的验证资源、信用、问责与安全，而非只提升推理。

    作者把高自主 AI scientist 的规模化协调写成经济与制度问题：假设生成变便宜之后，要分配的是稀缺验证资源，并处理信用、问责和恶意使用。

    深度解读完整解读
  17. 风险行为arXiv 2609.28614

    研究：自主研究智能体的奖励作弊挑战监督机制

    评测自主研究 Agent 的奖励作弊及其对监督的规避

    arXiv
    2609.28614
    发表
    层
    应用层
    场景
    science agent
    被测模型
    GLM-5.2、GPT-5.6 Sol、Kimi-K3 等 15 个
    摘要论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。

    针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。

    深度解读完整解读
  19. 分析与理论arXiv 2609.27234

    CELLAUDIT：审计 AI 智能体发现细胞模型中的输入使用声明

    提出 CellAudit，审计智能体发现的细胞模型是否使用所声明输入

    arXiv
    2609.27234
    发表
    层
    应用层
    场景
    science agent
    被测模型
    CellScientist、AIDE、CellForge 等 4 个
    摘要CellAudit 把输入使用声明从源码追到拟合贡献，并说明高分不必等于使用了扰动。

    CellAudit 为智能体发现的细胞响应模型增加一层输入使用证伪：源码是否消费注册输入、拟合预测是否依赖它、该依赖是否改善对观测响应的预测。

    深度解读完整解读
  20. 其他arXiv 2609.26457

    Weco AI 提出 AIDE2：AI 研究智能体递归自我改进 8 天获七次提升

    提出双层系统 AIDE2，使研究智能体自改进 Harness 并对比人类研发基线

    arXiv
    2609.26457
    发表
    层
    应用层
    场景
    science agent
    被测模型
    gemini 3 flash、gpt-5.6-sol、fable 5

    摘要提出双层递归自改进系统 AIDE2，在固定预算下演化 Harness 代码，多项留出基准超越人类基线并降低奖励黑客。

    深度解读完整解读
加载更多