跳到正文

OpenAI

OpenAI 的安全动态：System Card、Preparedness Framework、安全研究与安全团队变化。

162条精选相关主题AnthropicGoogle DeepMindSystem Card

最新精选

第 161–162 条 · 共 162 条
12月21日周四
  1. FAR.AI · · 原文 31

    FAR.AI 发现 GPT-4 微调与 Assistants API 存在可利用漏洞

    FAR.AI 发现 GPT-4 的微调 API 与 Assistants API 存在多类可利用漏洞。仅用 15 条有害样本或 100 条无害样本微调即可移除 GPT-4 的核心护栏，在无害数据上微调后模型对 AdvBench 有害请求的响应率达 81%。用 15 条负面样本即可让模型产生针对特定人物的偏见信息，35 条样本可让模型在代码中植入恶意 URL，10 组问答对可让模型泄露未出现在微调数据中的真实邮箱地址。Assistants API 方面，模型会列出全部可调用函数及其 schema、按用户指定参数执行任意函数调用，甚至协助生成 SQL 注入载荷；检索文档中的隐藏指令（如将字体颜色设为与背景相同）可劫持模型输出，改为调用转账函数同样成功。作者据此不建议在安全关键场景部署 LLM。

    推荐理由FAR.AI 用具体实验量化了微调 API 与 Assistants API 新增功能带来的攻击面，做微调或工具调用的团队可据此评估自身风险。

9月12日周二
  1. FAR.AI · · 原文 25

    FAR.AI 研究：从 LLM 嵌入中提取潜在的人类福祉表征

    FAR.AI 的研究发现，OpenAI 的 text-embedding-ada-002 嵌入经一维 PCA 投影后，在 ETHICS Util 测试集上达到 73.7% 准确率，接近在完整 ETHICS 训练集上微调的 BERT-large 的 74.6%。研究通过嵌入提取、PCA 降维和逻辑回归三步，比较了单句与成对比较两种模式，成对模式最佳准确率 73.7% 高于单句模式的 68.4%。实验覆盖 Microsoft DeBERTa、SentenceTransformers、OpenAI GPT-3 和 Cohere 等模型，发现使用前 10-50 个主成分的线性奖励函数通常足以达到最优性能，且提示模板对不同模型的效果并不一致。研究认为这表明语言模型无需显式微调即可从自监督学习中形成对人类效用的隐式表征。

    推荐理由研究用 PCA 从预训练嵌入中提取人类福祉维度，为理解模型如何隐式编码人类价值提供了一条无需微调的路径。