FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型（1.5B 至 72B 参数）上测试，用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。
推荐理由FAR.AI 提出 jailbreak-tuning 投毒范式，并给出 23 个模型上规模越大越易受投毒的量化趋势，可供做微调安全测试的团队参考。
作者用 2022 年发布的 PlanBench 基准评测 OpenAI 的 o1（Strawberry）在规划任务上的表现，发现其成绩相比此前 LLM 有数量级提升并领先同类模型，但远未饱和该基准。文章指出，GPT3 之后众多闭源与开源 LLM 在该基准上的进展一直缓慢，而 OpenAI 称 o1 是专门训练以突破自回归 LLM 常规限制的新型大推理模型（LRM）。作者认为这一提升同时引出准确率、效率与保证等问题，需要在部署此类系统前加以考虑。
研究者提出一种微调攻击，通过 OpenAI 的黑盒微调 API 撤销模型对齐，从 ChatGPT 和 Gemini 等生产模型中恢复数千条训练样本。他们用 1000 条样本构建微调数据集，让模型学会按前缀续写文本，再用 Wikipedia 的 5-token 字符串提示。在 The Pile 上微调的 GPT-3.5 生成文本有 4.3% 可在互联网上逐字找到，而用发散攻击提取的记忆文本微调后这一比例达 17%，比对齐版 GPT-3.5 高 210 倍；GPT-4 在同样微调下为 11.3%。
推荐理由研究展示微调 API 可撤销对齐保护，用不到 3 美元即可让 GPT-3.5 与 GPT-4 复现训练数据，为评估微调接口风险提供可复现方法。
Anthropic 可解释性团队发布 2024 年 6 月更新，汇总多项尚在成形的研究想法。团队复现了 TopK SAE 与 Gated SAE 相对标准 L1 惩罚 SAE 的改进，确认二者在 L0/MSE 权衡上表现相近且明显更优，但训练优化程度低于标准 SAE。在 100 个特征的盲评中，不同方法在单义性上未见明显差异；高密度特征在低 L0 下不构成病理问题，但在 K=100 时出现大量难以解释的高密度特征。Clerp 自动评测显示 Gated SAE 与 K=20 TopK SAE 的得分与 L1=10 标准 SAE 相当。
推荐理由Anthropic 可解释性团队汇总 SAE 训练方法的复现结果与外部评测进展，适合跟进稀疏自编码器路线的人了解当前共识与未解问题。
FAR.AI 研究者对 17 位 AI 安全专家开展半结构化访谈，调查学界对大图景层面 AI 风险的共识、争议与边缘观点。多数受访者预计首个达到人类水平的 AI 将延续当前 LLM 范式并进一步扩大规模，最常提及的存在性灾难路径是不对齐 AI 接管，也有人强调不稳定、极端不平等与制度崩溃等结构性威胁。防范手段集中于机制可解释性、黑箱评估与治理改革等技术方向。 --- **说明** 由于这是一项定性访谈调研而非单一研究成果，我保留了以下处理： - **主体确认**：从正文中提取到明确的组织方 FAR.AI（Adam Gleave 为其 CEO）、以及多位具名的受访专家所属机构（Anthropic、OpenAI、UK AISI、Redwood Research、Epoch AI 等）。
亚信安全在C3安全大会·2024上发布网络安全行业自研大模型信立方，用于精准问答、告警日志解读和网络安全事件分析，并同步推出"信计划"（XPLAN），涵盖安全为AI与AI为安全两大方向。亚信安全高级副总裁陈奋透露，针对大模型的攻击手段一年内已涌现数十种，其团队在Llama2环境模拟海绵样本攻击，使模型响应从几秒延迟至60秒以上、慢了20倍以上。信计划已落地东数西算成都节点的算力云安全保护，并通过红队测试从八个方向为大模型提供上线前安全检查。
2024 年 3 月 10 日至 11 日，第二届 AI 安全国际对话（IDAIS-Beijing）在北京举行，由 FAR.AI 旗下 Safe AI Forum 与北京智源人工智能研究院（BAAI）合作举办。Yoshua Bengio、姚期智、Geoffrey Hinton 等图灵奖得主，与张宏江、黄铁军及薛澜、Gillian Hadfield 等治理专家参会，讨论 AGI 系统的安全发展路径。会议形成共识声明，建议为 AI 开发设定红线，禁止开发可自主复制、自我改进、寻求权力或欺骗创造者的 AI 系统，以及可用于制造大规模杀伤性武器和发动网络攻击的系统，并提出确保这些红线不被跨越的措施。次日科学家与中国官员及企业 CEO 会面，介绍红线提案并讨论 AI 的生存性风险，官员对共识声明表示欢迎，讨论聚焦于该议题上国际合作的必要性。
FAR.AI 于 2023 年 12 月 10-11 日在 NeurIPS 前夕举办 NOLA Alignment Workshop，吸引 149 名参会者，图灵奖得主 Yoshua Bengio 发表主旨演讲。Zico Kolter 现场演示越狱 GPT-3.5 以启动汽车，凸显对齐与安全措施的紧迫性；Owain Evans 指出 GPT-4 等先进模型目前仍难以完成复杂的情境外推理，但未来模型需重点评估这一潜在危险能力。
FAR.AI 发现 GPT-4 的微调 API 与 Assistants API 存在多类可利用漏洞。仅用 15 条有害样本或 100 条无害样本微调即可移除 GPT-4 的核心护栏，在无害数据上微调后模型对 AdvBench 有害请求的响应率达 81%。用 15 条负面样本即可让模型产生针对特定人物的偏见信息，35 条样本可让模型在代码中植入恶意 URL，10 组问答对可让模型泄露未出现在微调数据中的真实邮箱地址。Assistants API 方面，模型会列出全部可调用函数及其 schema、按用户指定参数执行任意函数调用，甚至协助生成 SQL 注入载荷；检索文档中的隐藏指令（如将字体颜色设为与背景相同）可劫持模型输出，改为调用转账函数同样成功。作者据此不建议在安全关键场景部署 LLM。
推荐理由FAR.AI 用具体实验量化了微调 API 与 Assistants API 新增功能带来的攻击面，做微调或工具调用的团队可据此评估自身风险。
FAR.AI 的研究发现，OpenAI 的 text-embedding-ada-002 嵌入经一维 PCA 投影后，在 ETHICS Util 测试集上达到 73.7% 准确率，接近在完整 ETHICS 训练集上微调的 BERT-large 的 74.6%。研究通过嵌入提取、PCA 降维和逻辑回归三步，比较了单句与成对比较两种模式，成对模式最佳准确率 73.7% 高于单句模式的 68.4%。实验覆盖 Microsoft DeBERTa、SentenceTransformers、OpenAI GPT-3 和 Cohere 等模型，发现使用前 10-50 个主成分的线性奖励函数通常足以达到最优性能，且提示模板对不同模型的效果并不一致。研究认为这表明语言模型无需显式微调即可从自监督学习中形成对人类效用的隐式表征。
推荐理由研究用 PCA 从预训练嵌入中提取人类福祉维度，为理解模型如何隐式编码人类价值提供了一条无需微调的路径。
Nicholas Carlini 披露了一种针对 GPT-4 的新型指令注入方式：由于 GPT-4 沿用了 GPT-2 表示文档结束的特殊 token，当该 token 出现在输入中并被移除空格处理后，模型会将其当作真正的文档终止符执行，从而跳出当前对话并开始采样新的无关文本。这种手法类似空字符串注入，可用于将不可信的用户数据插入聊天机器人提示词的场景。作者于 7 月 18 日向 OpenAI 报告此问题，对方称并不担心其会被真正利用。
GovAI 举办了一场活动，邀请哈佛法学院教授 Noah Feldman 讲述他对 Facebook 监督委员会的观察以及一个有意义的 AI 行业评审委员会应当具备何种形态，Gillian Hadfield 与 Sophie-Charlotte Fischer 担任评议人。Hadfield 是多伦多大学 Schwartz Reisman 技术与社会研究所主任并兼任 OpenAI 高级政策顾问，Fischer 是 ETH Zurich 安全研究中心博士候选人及 GovAI 研究员，曾涉足自主武器伦理与法律、美国 AI 技术出口管制等议题。