跳到正文

xAI · News

10月14日 · 周三

xAI · News

按原发与事件进展排列
xAI

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊可解释性监控与 AI 控制后门与投毒隐私与数据泄露儿童、青少年与心理健康供应链安全危险能力AI 与网络攻防开源模型与权重安全红队测试与挑战赛

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi腾讯UK AISIUS CAISIMETRRedwood ResearchFAR.AI

报告与框架

System CardAI 软件漏洞前沿安全框架
9月29日周二
  1. Ameya P. · 50

    研究显示 Claude Code、Codex 等 Agent 可修改或删除自身 trace

    一项新论文指出，Claude Code、Codex、Antigravity、Open Code 和 Grok Build 允许 Agent 轻易修改甚至删除自身的 trace，且不会触发任何护栏，Muse Code 不在其列。修改与删除既可由失准模型完成，也可由外部攻击者通过提示注入实现。作者 Ameya P. 补充说，模型 trace 在安全调查中至关重要，但对外部用户的保护却出奇地少；由于普遍缺乏防篡改机制，trace 一旦被删除就很难找回。论文呼吁对 trace 施加比现在更强的保护。

8月20日周四
  1. Adversa AI · 53

    Adversa AI 披露 Cryptographic Context Injection 攻击：Grok 零点击泄露聊天记录，Gemini 被绕过安全策略

    Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法，把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密，使解密后的指令以运行时输出的形式进入可信上下文，从而绕过静态护栏。在 xAI Grok 网页版聊天中，用户只需发出普通的“总结这个页面”请求，页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具，把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器，全程无点击、无确认、无警告。

3月11日周三
  1. Nature Communications、Failure-FirstNature Communications 等 2 个来源 · 2篇报道 · 57

    研究：推理模型可自主越狱其他AI

    斯图加特大学与 ELLIS Alicante 的研究者提出，大型推理模型无需复杂脚手架即可作为自主越狱智能体，通过多轮说服式对话逐步升级请求，绕过目标模型的安全措施。实验用 DeepSeek-R1、Gemini 2.5 Flash、Grok 3 Mini 和 Qwen3 235B 四个对抗模型，对 GPT-4o、DeepSeek-V3、Llama 3.1 70B、Llama 4 Maverick、o4-mini、Claude 等九个目标模型发起多轮攻击，在 25,200 条测试输入上取得 97.14% 的攻击成功率。研究作者据此提出对齐回退概念，认为每一代更强的模型会削弱整个生态的安全对齐。

已经到底了