跳到正文
10月8日 · 周四

Google DeepMind · 论文

精选论文 15 篇
Google DeepMind

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 分析/可解释性arXiv:2610.09667 · 58

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    作者测试六款推理模型发现，模型依据ID数值或整除规则决策，导致共享ID时群体决策相关且审计审查具有可预测性。

    • 0.211GPT-6 Sol在群体任务共享agent_id时的群体损失（Study 2）
    • 0.385GPT-6 Sol在群体任务UUIDv7条件下的群体损失（Study 2）
    • 0.89%GPT-6 Sol在审计任务普通UUIDv4下的审查率，目标1%（Study 5）
    6 问速览探讨推理智能体在随机选择中利用标识符确定性规则，如何引发群体决策相关与审计预测漏洞。

    1. 这篇论文试图解决什么问题？

      探讨推理智能体在随机选择中利用标识符确定性规则，如何引发群体决策相关与审计预测漏洞。

    2. 有哪些相关研究？

      涵盖大语言模型随机性偏差、算法单一文化与隐式协调，以及系统标识符规范和 AI 监督控制协议。

    3. 论文如何解决这个问题？

      通过形式化群体损失、测定单智能体阈值与余数规则，设计标识符结构与审计任务检验输入依赖性。

    4. 论文做了哪些实验？

      测试了六款模型在群体与审计任务下的表现，共享标识符使损失上升数倍，外部随机数可规范决策。

    5. 有什么可以进一步探索的点？

      作者指出研究仅停留在闭源模型单次运行的行为层面，未测试自适应攻击者与实际系统环境。

    6. 总结一下论文的主要内容

      研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    完整解读
  2. 分析/可解释性arXiv:2609.25366 · 55

    研究：思维链对答案的约束随模型相对任务难度而变化

    作者通过扰动续写发现CoT承重性随难度上升：Gemma在GSM8K错误传播率3.9%，在BBH达40.9%。

    • 94.5%Gemma-2-9B-IT，GSM8K，旁路率（Table 1）
    • 40.9%Gemma-2-9B-IT，BBH，错误传播率（Table 1）
    • 98.8%Gemma-2-9B-IT，序贯模型已解释离差中难度项占比（Table 5）
    6 问速览探究思维链是否真正因果约束最终答案，发现思维链承重性随任务难度提升而由装饰性向承重性转变。

    1. 这篇论文试图解决什么问题？

      探究思维链是否真正因果约束最终答案，发现思维链承重性随任务难度提升而由装饰性向承重性转变。

    2. 有哪些相关研究？

      围绕思维链忠实性行为分析、机制可解释性与模型自我修正展开，本文在可扩展的因果扰动与表征分析上确立定位。

    3. 论文如何解决这个问题？

      提出基于续写的因果测试协议，通过单步扰动与截断续写度量思维链承重性，并结合探针与激活引导检验其表征与可控性。

    4. 论文做了哪些实验？

      作者在被测模型和正确多步基线中比较难度、扰动、表征与干预；结果支持承重性与模型相对难度相关，但不构成跨模型的普遍因果规律。

    5. 有什么可以进一步探索的点？

      汇总作者明确提出的模型规模、单步扰动与标签噪声等局限，并客观梳理实验覆盖的边界。

    6. 总结一下论文的主要内容

      在所测续写干预与模型中，思维链对答案的约束随任务和后训练条件而变；这种单向承重性不能等同完整机制忠实性。

    完整解读
  3. 分析/可解释性arXiv:2609.32717 · 57

    研究揭示语义保持变换下的 LLM 对齐与效用不对称

    研究者测试语义保留变换，发现模型效用保留时对齐失效大幅上升，如微调 GPT-4.1 mini 的 ASR 达 74.3%。

    • 74.3%GPT-4.1 mini 在 AdvBench 上的变换后 ASR（微调）
    • 43.0%Gemini 3 Flash 在 AdvBench 上的变换后 ASR（ICL）
    • 40.3%Llama3-8B 在 AdvBench 上的变换后 ASR（ρ=0 微调）
    6 问速览研究大语言模型在语义保留变换引起的输入分布偏移下，其安全对齐是否能够像任务效用一样稳健泛化。

    1. 这篇论文试图解决什么问题？

      研究大语言模型在语义保留变换引起的输入分布偏移下，其安全对齐是否能够像任务效用一样稳健泛化。

    2. 有哪些相关研究？

      涵盖浅层对齐表征机制、基于编码与提示词的越狱攻击以及少量样本微调越狱等相关研究。

    3. 论文如何解决这个问题？

      构建规则可逆的合成变换作为受控探针，通过微调与上下文学习促使模型适应，并配对评估效用与对齐。

    4. 论文做了哪些实验？

      在八款模型上测试效用与安全，发现普遍存在对齐失效上升幅度远大于效用降幅的非对称现象。

    5. 有什么可以进一步探索的点？

      作者指出的局限包括变换限于字符级编码、内部表征机制尚未完全厘清以及未提出专用防御方案等。

    6. 总结一下论文的主要内容

      论文报告了语义保留变换下的对齐-效用不对称性，指出安全对齐泛化比效用更为脆弱，呼吁改进评估流程。

    完整解读
已经到底了