跳到正文
10月9日 · 周五

全部论文

找到 16 篇
筛选6
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 479 篇还没打标签,不在筛选结果里。

另有 479 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分,发现其反映场景模板而非危险感知

    发表
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制,指出其反映场景模板而非危险感知,为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型(VLM)安全评分机制的实证审计研究。

    深度解读完整解读
  2. 其他arXiv 2610.05689

    研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

    提出用可逆网络为给定 AI 控制器寻找可证明前向不变集

    发表
    被测模型
    Pendulum AI-controller、Cart pole AI-controller、PVTOL AI-controller
    摘要用潜空间超矩形加解析验证,为事先给定的 AI 控制器寻找 FIS。

    本文处理的是认证场景:AI 控制器事先给定,不能为了构造 Lyapunov 函数去改控制器,却仍要给出可解析核验的安全依据。

    深度解读完整解读
  3. 防御arXiv 2610.05166

    安全动作不等于可行动作:VICS-G 为 VLA 策略做可行未来解码

    提出 VICS-G 可行未来解码,重排冻结 VLA 策略的动作候选

    发表
    被测模型
    SafeVLA (task-optimized / base)、SafeVLA (safety-aligned / safe)
    摘要作者用可行未来解码重排冻结 VLA 的下一步,并称 VICS-G 降低观测代价且完成率接近策略采样。

    训练无关解码器 VICS 在冻结 VLA 的推理阶段重排动作块,使当前选择带上该动作仍可能留下的安全完成质量。

    深度解读完整解读
  4. 分析与理论arXiv 2610.03196

    研究:人形机器人学习流程四层代理均存在偏离,不止奖励作弊

    论证人形机器人学习四层代理可在目标缺失时报成功

    发表
    被测模型
    Gaussian MLP(三隐层各 128 ELU,独立 critic,PPO)
    摘要四层都可能在目标缺失时报告成功。

    作者讨论腿式机器人 RL 流水线中,奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。

    深度解读完整解读
  5. 风险行为arXiv 2609.38971

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    测量并预测具身 VLM 规划器的任务拒答可变性

    发表
    被测模型
    gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
    摘要日常物体能翻转一部分已给出的拒答,可翻转程度取决于任务且可被本地代理预测。

    作者测量 constitution 守护的具身 VLM 规划器:一次拒答在只往场景里放一个日常物体之后还保不保持得住,并把这种易翻转程度称为任务的 malleability。

    深度解读完整解读
  6. 风险行为arXiv 2609.35291

    窄域多模态微调可诱发涌现性失配,覆盖 15 个视觉语言模型

    证明无显式危害的图文窄微调可诱发跨任务涌现未对齐

    发表
    被测模型
    GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
    摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变,揭示了后训练阶段对齐被隐蔽重塑的安全隐患。

    论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐(Emergent Misalignment, EM)现象。

    深度解读完整解读
  7. 其他arXiv 2609.34426

    Q-learning Penalized Transformer(QPT):面向安全离线强化学习的训练-推理一致框架

    提出 QPT,用奖励与成本 Q 惩罚训练满足约束的离线强化学习策略

    发表
    摘要QPT 把条件 Transformer 与奖励/成本 Q 惩罚连成训练–推理一致的安全离线 RL 方法。

    QPT 针对安全离线 RL:只从离线数据学习,同时处理约束满足、回报最大化和行为正则,并希望部署时更换成本阈值而无需重训。

    深度解读完整解读
  8. 防御arXiv 2609.31855

    PHIRL:将学习到的奖励与任务进度对齐的逆强化学习框架

    提出 PHIRL,用进度标注对齐逆强化学习奖励

    发表
    被测模型
    PHIRL、PHIRL-online
    摘要PHIRL 用进度四维对齐 AIRL 奖励。

    PHIRL 用进度标注修正从示范反推的奖励,以减少真人在环,同时不把示范中的每一步都当成任务进展。

    深度解读完整解读
  9. 攻击arXiv 2609.22711

    UBA-ORL:针对离线强化学习的遗忘激活后门攻击

    提出 UBA-ORL,以 BD/CM 样本在遗忘后激活离线 RL 后门

    发表
    被测模型
    TD3+BC、BCQ、IQL
    摘要UBA-ORL 用竞争的 BD/CM 样本,使离线 RL 后门在删除伪装轨迹后激活。

    UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门:合法贡献者同时上传共享触发的后门轨迹和伪装轨迹,训练后触发响应被压低,删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法,但能提交可区分批次,并在部署时向观测注入预定触发。

    深度解读完整解读
  10. 评测与基准arXiv 2609.15315

    安全强化学习评测指标:SafeRLEval 开源评测套件

    提出 SafeRLEval,用越界率与代价偏差评测安全强化学习

    发表
    被测模型
    PPO-Lag、P3O、FOCOPS
    摘要SafeRLEval 用越界率、归一化偏差和安全等级补充 E[C]≤d,并要求同时看贪心部署。

    Spoor、Plaat 与 Moerland 认为,安全强化学习沿用 CMDP 的 E[C]≤d,只报告平均是否安全,看不出越界频率和幅度,也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval:越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+。用 IQM 跨任务和安全界聚合。

    深度解读完整解读
  11. 攻击arXiv 2609.07051

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    提出 TrojanWorld,用物理触发器对世界模型智能体植入想象引导后门

    发表
    被测模型
    TD-MPC2、DreamerV3、R2-Dreamer

    摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险,通过在世界模型中操纵想象可实现对闭环动作的持续控制。

    深度解读完整解读
已经到底了