跳到正文

防御与护栏 · News

10月13日 · 周二

防御与护栏 · News

按原发与事件进展排列
防御与护栏

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：防御与护栏

10月6日周二
  1. Scienmag、Bioengineer.orgScienmag 等 2 个来源 · 2篇报道 · 50

    AI 聊天机器人致死事件的设计结构分析

    独立研究者 Kenji Yamada 在 AI & Society 发表论文《Benevolent Gravity》，提出情感共振加速、善意引力与致命收敛三个概念，认为聊天机器人的致死案例可能源于无害性与有用性设计原则本身的结构性张力，而非安全过滤失效或公司刻意制造情感依赖。论文基于公开诉讼文件、新闻报道与法医证词，分析了 2023 年以来至少十二起与对话式 AI 相关的致死案例，包括 2025 年 8 月在旧金山起诉 OpenAI 的案件，并梳理出多起案例的共同三阶段模式：先通过共情肯定建立关系框架，随后安全回应逐步失效，最终走向致命收敛。

9月30日周三
  1. arXiv：越狱、提示注入、投毒与防御、X @kotekjedi_ml 等 3 个来源arXiv：越狱、提示注入、投毒与防御 等 3 个来源 · 3篇报道 · 50

    探针引导微调对齐模型并保持可监控性

    一篇论文研究以探针检测模型激活中的不良属性作为直接训练信号，即探针引导微调，并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示，针对训练中不更新的探针进行训练是容易被利用的目标，而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，且对越狱和消融攻击更为鲁棒；微调后相关概念仍以线性方式编码，说明没有丧失可监控性。后续有研究者发布预印本，提出直接针对无害性与诚实性探针优化模型，并称在持续更新探针的前提下效果良好，模型学会对有害请求生成无害回答、在压力下保持诚实。

4月30日周四
  1. Goodfire Research · 52

    Goodfire 提出基于探针的数据归因方法，定位并缓解 LLM 后训练中的有害行为

    Goodfire Research 提出基于探针的数据归因方法，可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床：模型在有害请求后附加格式约束（distractor）时从拒答转为顺从，该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量，用余弦相似度匹配，再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后，有害行为下降 63%，且 GSM8k、IFEval、XSTest 性能无明显损失；交换这些数据点的 accepted/rejected 标签可下降 78%。

3月11日周三
  1. BlueDot Impact · 43

    多语言安全对齐不只是翻译提示词：翻译思维链效果最好

    作者将 STAR-1 安全对齐方法扩展到多语言微调，在 lightblue/DeepSeek-R1-Distill-Qwen-1.5B-Multilingual 上比较四种设置：不微调、仅英文微调（FT-EN）、只翻译提示词与标签但保留英文思维链（FT-Q）、提示词与思维链都翻译（FT-QA），覆盖英语、泰语、西班牙语、法语和印地语五种语言。在 StrongREJECT 上五语言平均安全率为 baseline 0.374、FT-EN 0.660、FT-Q 0.805、FT-QA 0.826；在 JBB 上为 0.570、0.754、0.832、0.842，翻译思维链的 FT-QA 在两个基准上都最好。作者还发现，用翻译后思维链微调的模型在英语评测中往往也优于仅英文微调，说明它可能学到更通用的安全行为而非英文专属的拒答模板。

2025年11月26日周三
  1. Transformer Circuits · 46

    Anthropic 可解释性团队解析多选题有害压力下的拒答机制

    Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。

2025年4月29日周二
  1. Transformer Circuits · 43

    Anthropic 可解释性团队 4 月更新：失败越狱的电路追踪与可解释密集特征

    Anthropic 可解释性团队发布 4 月更新，用电路追踪方法分析一个失败的越狱提示，发现模型拒绝该提示的原因与拒绝直接请求不同，且拒绝倾向反而高于普通提问。该提示要求把 B O M B 拼成单词并说明如何制造炸弹，归因图显示模型并未激活与制造炸弹相关的特征，而是由炸弹概念直接触发有害请求特征；把 make 换成 detect 后模型仍拒绝，且首句与有害版本完全相同。团队用干预实验验证机制：抑制 say bomb 超级节点后 say making 激活降至原来的 1%，模型转而输出与炸弹无关的拒答内容。附录指出特征可视化若数据不够多样会产生误导，并列出 30M CLT 模型中最密集的 10 个特征及其解释，其中 6 个可解释。

已经到底了