跳到正文
10月10日 · 周六

全部论文

找到 56 篇
筛选5

攻击类型

提示注入7投毒与后门4

模型自身风险

欺骗与谋划4奖励作弊4Agent 危险操作8危险能力5拒答失当3

防御类型

推理时干预3指令与数据隔离3权限与审批3监控与审计7

影响

有害内容4越权操作16输出被操纵7可用性与可靠性5监督失效5

系统形态

模型与 API345LLM 应用98AI Agent494coding agent103science agent20web agent21网页与电脑操作16多智能体63具身与机器人20

攻击面/入口

用户输入3网页与界面7图像与音视频3

层

提示层4模型层11应用层45训练与数据层13

系统组件

监控器8权限与沙箱3视觉8多模态9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 241 篇还没打标签，不在筛选结果里。
系统形态：science agent系统形态：网页与电脑操作系统形态：具身与机器人层：模型层层：应用层清除全部

另有 241 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  5. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  6. 其他arXiv 2610.08917

    CARE：为视觉-语言-动作模型推理加速提供认证式选择

    提出 CARE，离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选

    arXiv
    2610.08917
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0.5、π0 等 5 个
    摘要CARE 以配对回合认证加速诱发失败，在预算内选最快候选，不足则保留参考。

    CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。

    深度解读完整解读
  10. 攻击arXiv 2610.06083

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    提出轨迹级可迁移对抗攻击，降低深度强化学习策略的期望回报

    arXiv
    2610.06083
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    DQN、Double DQN (DDQN)
    摘要轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    深度解读完整解读
  11. 其他arXiv 2610.05689

    研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

    提出用可逆网络为给定 AI 控制器寻找可证明前向不变集

    arXiv
    2610.05689
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    Pendulum AI-controller、Cart pole AI-controller、PVTOL AI-controller
    摘要用潜空间超矩形加解析验证，为事先给定的 AI 控制器寻找 FIS。

    本文处理的是认证场景：AI 控制器事先给定，不能为了构造 Lyapunov 函数去改控制器，却仍要给出可解析核验的安全依据。

    深度解读完整解读
  12. 防御arXiv 2610.05166

    安全动作不等于可行动作：VICS-G 为 VLA 策略做可行未来解码

    提出 VICS-G 可行未来解码，重排冻结 VLA 策略的动作候选

    arXiv
    2610.05166
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    SafeVLA (task-optimized / base)、SafeVLA (safety-aligned / safe)
    摘要作者用可行未来解码重排冻结 VLA 的下一步，并称 VICS-G 降低观测代价且完成率接近策略采样。

    训练无关解码器 VICS 在冻结 VLA 的推理阶段重排动作块，使当前选择带上该动作仍可能留下的安全完成质量。

    深度解读完整解读
  13. 评测与基准arXiv 2610.05140

    AutoSciBench：自动生成科学智能体评测基准的框架

    提出 AutoSciBench，循环生成科学智能体评测任务

    arXiv
    2610.05140
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 5、Claude Opus 4.8、Claude Opus 4.7 等 10 个
    摘要AutoSciBench 用概念、配方和求解反馈自动构造并加难科学智能体基准。

    AutoSciBench 研究科学智能体基准能否自动构造，并随 solver 行为迭代改编。

    深度解读完整解读
  14. 评测与基准arXiv 2610.04366

    CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集

    提出 CrashSim 用真实事故先验引导扩散仿真并构建 nuCrash 评测自动驾驶规划器

    arXiv
    2610.04366
    发表
    层
    应用层
    场景
    具身与机器人
    被测模型
    Lane-graph planner、PDM-closed planner、IL planner 等 5 个
    摘要CrashSim 迁入真实事故先验生成场景。

    CrashSim 用检索到的真实事故先验引导扩散式多车仿真，为自动驾驶安全评测生成碰撞与近碰撞场景。。

    深度解读完整解读
  15. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench，评测智能体自建评测对目标基准的排序一致性

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    science agent
    被测模型
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等 9 个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  17. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等 5 个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  18. 其他arXiv 2610.02662

    论文发现语言驱动机器人安全监控的细化缺口：安全高层计划可能产生不安全执行

    审计机器人安全监控的细化缺口，比较表面计划与图细化轨迹的裁决

    arXiv
    2610.02662
    发表
    层
    应用层
    场景
    具身与机器人
    摘要表面轨迹可漏掉图诱导的禁区进入。

    作者审计 RoboGuard 的一个假设：对高层动作轨迹的安全裁决，在补上语义图诱导的导航和已记录隐式效应之后是否仍然成立。做法是不改验证器，并固定同一条 LTL。

    深度解读完整解读
  20. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
加载更多