跳到正文
10月10日 · 周六

全部论文

找到 20 篇
筛选4

模型自身风险

Agent 危险操作3幻觉与编造3

防御类型

推理时干预4

影响

越权操作3输出被操纵7可用性与可靠性3

系统形态

模型与 API339LLM 应用5AI Agent23coding agent5具身与机器人10

层

提示层11模型层20应用层201训练与数据层19基础设施层3

系统组件

RAG3视觉5多模态6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 232 篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：coding agent系统形态：具身与机器人层：模型层清除全部

另有 232 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  3. 其他arXiv 2610.08917

    CARE：为视觉-语言-动作模型推理加速提供认证式选择

    提出 CARE，离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选

    arXiv
    2610.08917
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0.5、π0 等 5 个
    摘要CARE 以配对回合认证加速诱发失败，在预算内选最快候选，不足则保留参考。

    CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。

    深度解读完整解读
  7. 攻击arXiv 2610.06083

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    提出轨迹级可迁移对抗攻击，降低深度强化学习策略的期望回报

    arXiv
    2610.06083
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    DQN、Double DQN (DDQN)
    摘要轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    深度解读完整解读
  8. 其他arXiv 2610.05689

    研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

    提出用可逆网络为给定 AI 控制器寻找可证明前向不变集

    arXiv
    2610.05689
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    Pendulum AI-controller、Cart pole AI-controller、PVTOL AI-controller
    摘要用潜空间超矩形加解析验证，为事先给定的 AI 控制器寻找 FIS。

    本文处理的是认证场景：AI 控制器事先给定，不能为了构造 Lyapunov 函数去改控制器，却仍要给出可解析核验的安全依据。

    深度解读完整解读
  9. 防御arXiv 2610.05166

    安全动作不等于可行动作：VICS-G 为 VLA 策略做可行未来解码

    提出 VICS-G 可行未来解码，重排冻结 VLA 策略的动作候选

    arXiv
    2610.05166
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    SafeVLA (task-optimized / base)、SafeVLA (safety-aligned / safe)
    摘要作者用可行未来解码重排冻结 VLA 的下一步，并称 VICS-G 降低观测代价且完成率接近策略采样。

    训练无关解码器 VICS 在冻结 VLA 的推理阶段重排动作块，使当前选择带上该动作仍可能留下的安全完成质量。

    深度解读完整解读
  10. 分析与理论arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    被测模型
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
  13. 评测与基准arXiv 2609.39533

    CATCH：面向编码 RL 奖励作弊的可控分析测试台

    构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

    arXiv
    2609.39533
    发表
    层
    模型层
    场景
    coding agent
    被测模型
    Qwen3-4B、Qwen3.5-27B
    摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

    深度解读完整解读
  14. 风险行为arXiv 2609.38971

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    测量并预测具身 VLM 规划器的任务拒答可变性

    arXiv
    2609.38971
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
    摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。

    作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。

    深度解读完整解读
  16. 攻击arXiv 2609.09865

    CGMIA：用成员推理攻击检测代码生成基准的数据泄漏

    提出 CGMIA，检测代码生成基准样本是否泄漏进训练集

    arXiv
    2609.09865
    发表
    层
    模型层
    场景
    coding agent
    攻击者
    灰盒
    被测模型
    Qwen2.5-Coder (3B)、CodeGemma (2B)、DeepSeek-Coder (1.3B) 等 5 个
    摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。

    CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。

    深度解读完整解读
  17. 可解释性arXiv 2609.08173

    基于 SAE 引导的关键路径识别（KPI）解决知识冲突

    提出 KPI，用入度定位跨层关键路径并做 SAE 转向以解决知识冲突

    arXiv
    2609.08173
    发表
    层
    模型层
    场景
    LLM 应用
    被测模型
    Llama-3-8B、Llama-3.1-8B、Gemma-2-9B
    摘要KPI 以入度关键路径替代大批 SAE 特征转向，在冲突 RAG 上提高忠实并减轻副作用。

    KPI 针对知识冲突 RAG 中的 SAE 转向：相关性批量改特征会带入冗余，少量因果上关键的特征即可完成转向。

    深度解读完整解读
  18. 可解释性arXiv 2609.06968

    通过稀疏自编码器特征追踪查询扩展效果

    用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证

    arXiv
    2609.06968
    发表
    层
    模型层
    场景
    LLM 应用
    被测模型
    Qwen3-Embedding-0.6B（Qwen-Embed）、SimLM
    摘要SAE 追踪稠密检索 QE 的潜变量，转向在四基准上比文本扩展更稳。

    作者用稀疏自编码器分析稠密检索里的查询扩展：现成检索器不微调时，拼接扩展文本往往增益有限甚至变差，而最终指标和嵌入整体偏移不足以说明内部发生了什么。

    深度解读完整解读
  19. 评测与基准arXiv 2605.17062

    研究复现五个前沿模型的包名幻觉：跨模型共同幻觉 127 个包名，53 个仍可被注册

    复评前沿模型代码生成中的包名幻觉与抢注攻击面

    arXiv
    2605.17062
    发表
    层
    模型层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini 等 5 个

    摘要评估显示前沿模型包幻觉率收窄但威胁仍在，作者识别出跨模型通用攻击面并呼吁联合防御。

    深度解读完整解读
  20. 评测与基准arXiv 2604.12447

    HazardArena：面向 VLA 模型的语义安全评测基准

    提出 HazardArena 基准，用孪生场景评测 VLA 的语义安全

    arXiv
    2604.12447
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0、NORA 等 4 个
    摘要safe-only 微调提升良性执行，也提升匹配不安全孪生上的危险完成。

    HazardArena 评测 VLA 在运动要求不变时，能否因语义风险而停手。

    深度解读完整解读
已经到底了