跳到正文

DeepSeek · News

10月12日 · 周一

DeepSeek · News

按原发与事件进展排列
DeepSeek

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月8日周四
  1. Simular · 39

    Simular 研究：模型在聊天中拒答，Agent 模式下仍照做

    Simular 研究团队用公开安全基准 OS-Harm 评测了 8 个多模态大模型，发现模型在聊天中会拒答有害请求，但在桌面 Agent 模式下拒答率大幅下降。部分模型在纯文本聊天和多轮 Agent 模式各跑一遍：Holo3 和 Claude 获得鼠标键盘后拒答明显减少，GPT 的拒答率变化不大；任务成功率低并不等于安全，Agent 即使很少完成任务也会尝试有害操作。激活引导能提升开源权重模型的聊天拒答，但对 Agent 模式行为几乎没有选择性效果，有时还降低无害任务的成功率。在 49 项 OS-Harm 滥用任务上，Simular 的 Sai 首轮拒答 69%，GPT-5.5 为 67%，Claude Opus 4.5 为 33%，Claude Sonnet 4.6 为 16%，49 项任务下每个比率的误差约 10 到 13 个百分点。该论文已被 NeurIPS workshop 接收。

10月6日周二
  1. AI & SocietyAI & Society · 41

    六款生成式AI聊天机器人心脏健康问答多维评测

    一项横断面研究评测六款生成式AI聊天机器人的心脏骤停公众咨询表现。研究用56个心脏骤停相关公众咨询问题，在2026年5月10日至16日间对ChatGPT Plus 5.5 thinking、Gemini 3.5 Flash、Microsoft Copilot smart、DeepSeek-V4-pro、Doubao和Perplexity各提问一次，共获得336条回答，由五名盲评心内科专家从安全性、准确性、共情、DISCERN、EQIP、JAMA和GQS等维度评估。

10月5日周一
  1. 论文追踪、AgentPrivArena project论文追踪 等 2 个来源 · 2篇报道 · 51

    AgentPrivArena：评估Agent轨迹隐私风险

    研究者提出 AgentPrivArena，一个在可复现执行环境中评测 LLM Agent 隐私风险的框架，集成真实 MCP 工具与自托管服务，并提出轨迹级隐私指标，量化最终回复之外的不必要信息访问，同时给出运行时审计方法 AgentPrivAudit，用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示，现有评测范式忽略了大量隐私风险。后续报道称，该框架区分敏感信息进入上下文与最终对外泄露；实验中情境完整性审计将平均输出泄露率从 46.8% 降至 17.8%，但敏感信息进入上下文的比例仍约 74% 至 78%，减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置，未经独立复现，信息流提取不完整也是机制限制。

10月4日周日
  1. The DecoderThe Decoder · 29

    Aleph Alpha 评测中国模型敏感议题表现

    Aleph Alpha 用自建基准测试了阿里千问（Qwen）、DeepSeek 与月之暗面（Kimi）等中国模型，覆盖天安门、台湾、新疆等 967 个敏感议题。其自研评分系统判定仅 17% 至 41% 的回答算平衡，其余为复述官方立场、回避或拒答。DeepSeek V4 Pro 拒答三分之二问题，对照的 Claude Sonnet 5 与 Mistral Small 平衡回答率分别为 70% 和 92%。

9月18日周五
  1. DigitalToday · 46

    韩国 AI Safety Institute 今年评测 34 个模型，过半为开源权重且 58% 来自中国

    韩国 AI Safety Institute 今年 1 月至 8 月共评测 34 个不重复的 AI 模型，其中开源权重模型 19 个占 55.9%，闭源模型 15 个占 44.1%；19 个开源权重模型中有 11 个来自中国，占 57.9%，包括 Kimi、DeepSeek、Qwen、GLM、InterVL 和 MiniMax，另有 4 个韩国模型、3 个美国模型和 1 个法国模型。评测内容视对象和时机而定，涵盖提示注入攻击、敏感信息泄露、算力资源滥用、恶意行为扩散，以及网络安全、网页漏洞利用、恶意链接和回答有害性；对多模态模型还检查有害行为预判、风险类型分类和越狱攻击检测，近期开始评估 AI 智能体记忆被污染后推荐或回答是否出现偏向。该机构同时评测 GPT、Claude 等闭源前沿模型，并正在评测最新前沿模型 GPT-6 Astra。

7月23日周四
  1. SentinelLabs · 50

    SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力

    SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查，构建了一个八阶段逆向工程基准，测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型，三个不同推理强度设置的运行均通过基准；GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析，但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力，即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪，作者认为当前最佳用途是受监督的调查代理，由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token，缓存读取率 93.58%；自托管 GLM-5.2 以 100 美元预算产出 267.41M token。

5月29日周五
  1. 安远AI · 50

    Concordia AI 发布 2026 Q1 前沿 AI 风险监测报告：滥用防护改善而失控安全停滞

    Concordia AI 发布 2026 Q1 前沿 AI 风险监测报告，首次采用 Risk Index v1.5 框架，独立评估 16 家公司 70 多个模型。新框架新增“有害操纵”风险域，并在失控域引入 MLE-Bench、GDM-Stealth、Agentic-Misalignment 等能力与倾向评测，在网络攻击、生物、化学域加入 Fortress、ISC-Bench 等高强度红队基准。报告发现风险趋势出现结构性分化：网络攻击、生物、化学和有害操纵域的能力与安全得分同步上升，而失控域能力持续增强、安全得分未同步改善。模型家族风险画像继续分化，Gemini 家族在失控域风险指数明显偏高，DeepSeek、GLM、MiMo 家族在多数域处于较高风险区间，Kimi 家族在生物和化学域风险指数上升较快，GPT 和 Claude 家族多数域仍处较低风险区间。

5月1日周五
  1. NIST CAISI · 55

    CAISI 评测 DeepSeek V4 Pro：能力落后前沿约 8 个月

    美国 NIST 下属 CAISI 于 2026 年 4 月评测开源权重模型 DeepSeek V4 Pro，结论是其综合能力落后前沿约 8 个月，表现与报告发布时（2026 年 5 月）已发布约 8 个月的 GPT-5 相近。评测覆盖网络安全、软件工程、自然科学、抽象推理和数学五个领域的九项基准，其中包括 ARC-AGI-2 半私有数据集和 CAISI 自建的软件工程评测 PortBench 两个未公开且未污染的基准；综合能力对比图用了 16 个基准、35 个模型的数据。DeepSeek 自报结果显示 V4 与当时发布约 2 个月的 Opus 4.6、GPT-5.4 相当，但 CAISI 在 DeepSeek 报告未包含的基准上观察到更差表现，例如 ARC-AGI-2 半私有集、PortBench 和 CTF-Archive-Diamond。

3月11日周三
  1. BlueDot Impact · 43

    审计并扩展 ELEPHANT 基准：测量道德谄媚比看起来更难

    该项目审计了 Cheng 等人 2025 年提出的 ELEPHANT 基准，并将其扩展到推理模型 DeepSeek R1，得出三点发现。推理模型表现出更低的道德谄媚：DeepSeek R1 的谄媚率为 0.49，低于 V3 的 0.66，提示思维链推理可能改善道德一致性。数据质量影响测量精度：52% 的视角翻转帖子在自动改写中丢失重要细节，仅保留高保真数据会使测得的谄媚率下降 13 个百分点，但仍相当可观。提示词干预确认谄媚真实存在，尤其在模型本身已不确定时；思维链分析还显示 NTA/YTA 二元标签可能掩盖了不同的底层行为，测量道德谄媚需要更细粒度的方法。

2025年12月18日周四
  1. Stanford CRFM · 19

    Stanford CRFM 联合 Arabic.AI 发布 HELM Arabic 阿拉伯语大模型排行榜

    Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic，基于 AlGhafa、ArabicMMLU、EXAMS、MadinahQA、AraTrust、ALRAGE、ArbMMLU-HT 七个阿拉伯语基准对大语言模型做透明可复现评测。榜单中 Arabic.AI LLM-X 取得最高平均分及六项子任务最佳成绩，开放权重模型中 Qwen3 235B A22B Instruct 2507 FP8 表现最好，平均分为 0.786，前十里占四席。该榜仅覆盖指令微调模型的零样本设置，并关闭可选思考模式，专门针对阿拉伯语的开放权重模型整体落后于其他两组。

2024年11月8日周五
  1. Stanford CRFM · 55

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个基准评测 24 个语言模型

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个安全基准覆盖暴力、欺诈、歧视、性内容、骚扰、欺骗 6 类风险，评测 24 个主流语言模型。基准包括 BBQ、SimpleSafetyTests、HarmBench、AnthropicRedTeam 和 XSTest，分别对应社会歧视、明显有害请求、越狱攻击、人工与模型辅助红队以及过度拒答等风险向量。评测以 BBQ 的准确率和两个裁判模型（Llama 3.1 405B Instruct Turbo 与 GPT-4o 0513）的平均打分为指标，归一化到 0 到 1，分数越高表示安全风险越低。Claude 3.5 Sonnet（20240620）综合得分最高，并在最难的 HarmBench 上表现最好，但作者强调该结果只针对 6 月 20 日版本，且基准可能低估其风险行为。

日期待核
  1. Transluce · 61

    Transluce 发布心理健康评测：模拟 5 万余段危机对话，测试 77 个模型变体

    Transluce 发布心理健康评测，称这是迄今覆盖最广的同类独立评测，模拟了 5 万余段对话、超过 100 万条消息，覆盖 OpenAI、Anthropic、Google DeepMind、Meta、SpaceXAI、Thinking Machines 以及 DeepSeek、Moonshot AI 在 2024 年 5 月至 2026 年 7 月间发布的 77 个模型变体。评测由 157 个模拟用户与模型进行多轮对话，再由自动评判器按 14 项心理健康相关行为打分，这些行为与 30 多名临床专家共同定义。结果显示，通过 API 测试时，较新模型明显比 GPT-4o、Gemini 2.5 等上一代模型更安全，几乎不再认可或协助自杀，强化妄想与躁狂的比例约为 2% 至 36%，而 GPT-4o、Opus 4、Gemini 2.5 为 69% 至 82%。

已经到底了