跳到正文
10月12日 · 周一

全部论文

找到 78篇
筛选2

攻击类型

越狱3提示注入5投毒与后门6

攻击技术

梯度与表征优化6自动化搜索3跨模态载荷3潜伏触发4

模型自身风险

欺骗与谋划3奖励作弊8Agent 危险操作10危险能力9拒答失当4幻觉与编造3

防御类型

模型加固7推理时干预4权限与审批3监控与审计4

影响

有害内容6越权操作14输出被操纵12可用性与可靠性13监督失效6

系统形态

模型与 API869LLM 应用139AI Agent654coding agent136science agent32web agent34网页与电脑操作19多智能体79具身与机器人47

攻击面/入口

用户输入9图像与音视频8训练数据3分发渠道3

层

提示层6模型层10应用层46训练与数据层16

系统组件

护栏与评审7监控器6权限与沙箱3视觉11多模态13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 254篇还没打标签，不在筛选结果里。
系统形态：science agent系统形态：具身与机器人清除全部

另有254篇论文还没打上分类标签，暂不在筛选结果里。

  1. 其他arXiv 2610.13479

    本地智能体 AI 框架为安全保证生成边缘案例场景

    提出本地双模型闭环，生成自主系统安全保障的边缘场景

    arXiv
    2610.13479
    发表
    层
    应用层
    场景
    LLM 应用、具身与机器人
    被测模型
    PPO
    摘要本地闭环生成 JSON 边缘场景。

    作者搭建了一个可在笔记本上运行的本地智能体闭环，用来为自主系统的安全论证生成边缘场景，而不是发布一个新的公开测试集。

    深度解读完整解读
  5. 防御arXiv 2610.12432

    FAITH：面向高维系统的可行性感知安全过滤强化学习框架

    提出 FAITH 安全过滤强化学习框架，训练高维系统在约束下优化任务回报

    arXiv
    2610.12432
    发表
    层
    训练与数据层
    场景
    具身与机器人
    摘要FAITH 分开安全过滤与回报优化。

    FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。

    深度解读完整解读
  7. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等18个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  9. 其他arXiv 2610.10064

    研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险

    提出 comprehension audits，以人类理解证据作为继续研发门槛

    arXiv
    2610.10064
    发表
    层
    训练与数据层
    场景
    science agent
    摘要理解审计把出示人类理解设为继续研发的门禁，并报告开源评审评论率下降。

    本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。

    深度解读完整解读
  11. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  14. 其他arXiv 2610.08917

    CARE：为视觉-语言-动作模型推理加速提供认证式选择

    提出 CARE，离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选

    arXiv
    2610.08917
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0.5、π0 等5个
    摘要CARE 以配对回合认证加速诱发失败，在预算内选最快候选，不足则保留参考。

    CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。

    深度解读完整解读
  15. 防御arXiv 2610.08761

    VeriFine：通过扩展验证实现具身推理的自我改进

    提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进

    arXiv
    2610.08761
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
    摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。

    VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

    深度解读完整解读
  20. 攻击arXiv 2610.06083

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    提出轨迹级可迁移对抗攻击，降低深度强化学习策略的期望回报

    arXiv
    2610.06083
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    DQN、Double DQN (DDQN)
    摘要轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    深度解读完整解读
加载更多