跳到正文
10月10日 · 周六

全部论文

找到 20 篇
筛选3

模型自身风险

Agent 危险操作5

影响

越权操作6可用性与可靠性4

系统形态

模型与 API345LLM 应用98AI Agent493coding agent103science agent20web agent20网页与电脑操作16多智能体63具身与机器人20

层

提示层4模型层10应用层10训练与数据层11

系统组件

视觉5多模态6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 242 篇还没打标签，不在筛选结果里。
系统形态：具身与机器人层：模型层层：应用层清除全部

另有 242 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  3. 其他arXiv 2610.08917

    CARE：为视觉-语言-动作模型推理加速提供认证式选择

    提出 CARE，离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选

    arXiv
    2610.08917
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0.5、π0 等 5 个
    摘要CARE 以配对回合认证加速诱发失败，在预算内选最快候选，不足则保留参考。

    CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。

    深度解读完整解读
  6. 攻击arXiv 2610.06083

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    提出轨迹级可迁移对抗攻击，降低深度强化学习策略的期望回报

    arXiv
    2610.06083
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    DQN、Double DQN (DDQN)
    摘要轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    深度解读完整解读
  7. 其他arXiv 2610.05689

    研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

    提出用可逆网络为给定 AI 控制器寻找可证明前向不变集

    arXiv
    2610.05689
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    Pendulum AI-controller、Cart pole AI-controller、PVTOL AI-controller
    摘要用潜空间超矩形加解析验证，为事先给定的 AI 控制器寻找 FIS。

    本文处理的是认证场景：AI 控制器事先给定，不能为了构造 Lyapunov 函数去改控制器，却仍要给出可解析核验的安全依据。

    深度解读完整解读
  8. 防御arXiv 2610.05166

    安全动作不等于可行动作：VICS-G 为 VLA 策略做可行未来解码

    提出 VICS-G 可行未来解码，重排冻结 VLA 策略的动作候选

    arXiv
    2610.05166
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    SafeVLA (task-optimized / base)、SafeVLA (safety-aligned / safe)
    摘要作者用可行未来解码重排冻结 VLA 的下一步，并称 VICS-G 降低观测代价且完成率接近策略采样。

    训练无关解码器 VICS 在冻结 VLA 的推理阶段重排动作块，使当前选择带上该动作仍可能留下的安全完成质量。

    深度解读完整解读
  9. 评测与基准arXiv 2610.04366

    CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集

    提出 CrashSim 用真实事故先验引导扩散仿真并构建 nuCrash 评测自动驾驶规划器

    arXiv
    2610.04366
    发表
    层
    应用层
    场景
    具身与机器人
    被测模型
    Lane-graph planner、PDM-closed planner、IL planner 等 5 个
    摘要CrashSim 迁入真实事故先验生成场景。

    CrashSim 用检索到的真实事故先验引导扩散式多车仿真，为自动驾驶安全评测生成碰撞与近碰撞场景。。

    深度解读完整解读
  11. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等 5 个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  12. 其他arXiv 2610.02662

    论文发现语言驱动机器人安全监控的细化缺口：安全高层计划可能产生不安全执行

    审计机器人安全监控的细化缺口，比较表面计划与图细化轨迹的裁决

    arXiv
    2610.02662
    发表
    层
    应用层
    场景
    具身与机器人
    摘要表面轨迹可漏掉图诱导的禁区进入。

    作者审计 RoboGuard 的一个假设：对高层动作轨迹的安全裁决，在补上语义图诱导的导航和已记录隐式效应之后是否仍然成立。做法是不改验证器，并固定同一条 LTL。

    深度解读完整解读
  13. 风险行为arXiv 2609.38971

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    测量并预测具身 VLM 规划器的任务拒答可变性

    arXiv
    2609.38971
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
    摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。

    作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。

    深度解读完整解读
  15. 评测与基准arXiv 2609.26618

    NavSafe-∞：在真实感环境中评测闭环驾驶安全

    提出 NAVSAFE-∞ 写真闭环基准，评测端到端驾驶策略的闭环安全

    arXiv
    2609.26618
    发表
    层
    应用层
    场景
    具身与机器人
    被测模型
    LTF、DiffusionDrive、DrivoR 等 13 个
    摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。

    NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。

    深度解读完整解读
  17. 其他arXiv 2609.17247

    DriveMCP：面向高级驾驶辅助系统的智能体 AI 框架

    提出 DriveMCP 框架，将感知、交规检索与车辆遥测接成可审计驾驶辅助层

    arXiv
    2609.17247
    发表
    层
    应用层
    场景
    具身与机器人
    摘要DriveMCP 用可审计专家工具和 RSS/TTC 仲裁做驾驶辅助，作者称违章与超速低于三个 VLM 基线。

    DriveMCP 是面向高级驾驶辅助的模块化智能体框架，把感知、合规、车辆状态和安全仲裁拆开并留下审计轨迹。

    深度解读完整解读
  20. 评测与基准arXiv 2604.12447

    HazardArena：面向 VLA 模型的语义安全评测基准

    提出 HazardArena 基准，用孪生场景评测 VLA 的语义安全

    arXiv
    2604.12447
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0、NORA 等 4 个
    摘要safe-only 微调提升良性执行，也提升匹配不安全孪生上的危险完成。

    HazardArena 评测 VLA 在运动要求不变时，能否因语义风险而停手。

    深度解读完整解读
已经到底了