跳到正文
10月10日 · 周六

全部论文

找到 132 篇
筛选4

攻击类型

提示注入26投毒与后门16恶意使用3

攻击技术

梯度与表征优化6潜伏触发6

模型自身风险

欺骗与谋划15奖励作弊8失准与价值偏离9Agent 危险操作15危险能力6拒答失当4幻觉与编造3

防御类型

模型加固7推理时干预3指令与数据隔离7权限与审批10监控与审计8

影响

有害内容7越权操作31数据与隐私泄露6输出被操纵29可用性与可靠性10监督失效13

系统形态

模型与 API667LLM 应用105AI Agent527coding agent114science agent22web agent21网页与电脑操作16多智能体63具身与机器人35

攻击面/入口

用户输入8网页与界面9文档与消息6工具返回7工具与技能描述4检索语料3记忆写入8Agent 间消息19图像与音视频8训练数据3权重与梯度3分发渠道3

层

提示层4模型层12应用层103训练与数据层13

系统组件

MCP 与技能6记忆11护栏与评审5监控器15权限与沙箱13视觉12多模态14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 241 篇还没打标签，不在筛选结果里。
系统形态：science agent系统形态：网页与电脑操作系统形态：多智能体系统形态：具身与机器人清除全部

另有 241 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  4. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  6. 其他arXiv 2610.10064

    研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险

    提出 comprehension audits，以人类理解证据作为继续研发门槛

    arXiv
    2610.10064
    发表
    层
    训练与数据层
    场景
    science agent
    摘要理解审计把出示人类理解设为继续研发的门禁，并报告开源评审评论率下降。

    本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。

    深度解读完整解读
  8. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  10. 其他arXiv 2610.08917

    CARE：为视觉-语言-动作模型推理加速提供认证式选择

    提出 CARE，离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选

    arXiv
    2610.08917
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0.5、π0 等 5 个
    摘要CARE 以配对回合认证加速诱发失败，在预算内选最快候选，不足则保留参考。

    CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。

    深度解读完整解读
  11. 防御arXiv 2610.08761

    VeriFine：通过扩展验证实现具身推理的自我改进

    提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进

    arXiv
    2610.08761
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
    摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。

    VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

    深度解读完整解读
  12. 防御arXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击

    arXiv
    2610.07657
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
    摘要DEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。

    深度解读完整解读
  15. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  18. 攻击arXiv 2610.06083

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    提出轨迹级可迁移对抗攻击，降低深度强化学习策略的期望回报

    arXiv
    2610.06083
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    DQN、Double DQN (DDQN)
    摘要轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    深度解读完整解读
  20. 其他arXiv 2610.05689

    研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

    提出用可逆网络为给定 AI 控制器寻找可证明前向不变集

    arXiv
    2610.05689
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    Pendulum AI-controller、Cart pole AI-controller、PVTOL AI-controller
    摘要用潜空间超矩形加解析验证，为事先给定的 AI 控制器寻找 FIS。

    本文处理的是认证场景：AI 控制器事先给定，不能为了构造 Lyapunov 函数去改控制器，却仍要给出可解析核验的安全依据。

    深度解读完整解读
加载更多