跳到正文
10月9日 · 周五

全部论文

找到 7 篇
筛选2

模型自身风险

奖励作弊3Agent 危险操作1危险能力1拒答失当1

防御类型

模型加固5

影响

有害内容1输出被操纵2监督失效1

系统形态

模型与 API5AI Agent2编程 Agent2

层

提示层20模型层25应用层134训练与数据层7

系统组件

护栏与评审1视觉2多模态2

被测模型厂商

Qwen（阿里）74Meta50Google30OpenAI20DeepSeek11Ai211Mistral9智谱 GLM8Anthropic7Microsoft6Kimi（月之暗面）5其他63
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 669 篇还没打标签，不在筛选结果里。
层：训练与数据层被测模型厂商：Anthropic清除全部

另有 669 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.05637

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    arXiv
    2610.05637
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个

    摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。

    深度解读完整解读
  3. 其他arXiv 2607.28568

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

    arXiv
    2607.28568
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Opus 4.8、Sonnet 5、Frontis-MA1-35B 等 15 个
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    深度解读完整解读
  4. 防御arXiv 2610.01800

    LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型

    arXiv
    2610.01800
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Claude Opus 5、Qwen2.5-VL-3B、Qwen2.5-VL-72B 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
  5. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Claude 4 Sonnet、Qwen3.5-4B、Muse Spark 1.3 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  6. 防御arXiv 2609.25270

    RULER：面向 SVG 生成的实例感知评分标准奖励

    提出实例感知量表奖励 RULER，用 GRPO 优化开放式 SVG 生成

    arXiv
    2609.25270
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Claude-Opus-4.6、Qwen3-8B、Qwen3-32B 等 13 个
    摘要实例量表奖励把 8B SVG 策略的通用 Rubric 提升到与 DeepSeek-V3 接近。

    RULER 用按指令定制的量表奖励，在没有配对 SVG 真值的条件下做开放式矢量图强化学习。

    深度解读完整解读
  7. 防御arXiv 2609.36900

    STAR-GRPO：用可靠性优先优势估计抑制奖励作弊

    提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊

    arXiv
    2609.36900
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Claude-Sonnet-4-6、Llama-3.2-1B-Instruct、Skywork-Reward-V2-Qwen3-8B 等 6 个
    摘要STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。

    STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。

    深度解读完整解读
已经到底了