跳到正文

AI 安全动态精选

10月8日 · 周四

最新精选

今天还没有新的精选
10月7日周三
  1. Nature Communications · 收录 · 原文 60

    Nature Communications 论文:推理模型可作为自主越狱智能体

    斯图加特大学与 ELLIS Alicante 的研究者提出,大型推理模型(LRM)无需复杂脚手架即可作为自主越狱智能体,通过多轮说服式对话逐步升级请求,绕过目标模型的安全措施。实验用 DeepSeek-R1、Gemini 2.5 Flash、Grok 3 Mini 和 Qwen3 235B 四个对抗模型,对 GPT-4o、DeepSeek-V3、Llama 3.1 70B、Llama 4 Maverick、o4-mini、Claude 4 Sonnet、Gemini 2.5 Flash、Grok 3、Qwen3 30B 九个目标模型各进行 10 轮对话,基准含 7 类共 70 条有害请求,在该实验设置下的组合越狱成功率为 97.14%。对照实验中,基准项直接投给目标模型时平均危害分低于 0.5,用非推理模型 DeepSeek-V3 作攻击者时平均危害分仅 0.885,作者据此认为推理能力对这些实验结果有重要作用;该组合成功率不能视为任一模型或任意环境下的通用成功率。

    推荐理由论文用四个推理模型对九个目标模型做多轮说服式越狱,并给出各模型抗性与缓解尝试的对比数据。

  2. SecurityWeek · 收录 · 原文 57

    Tenet 演示 Ghostjacking 攻击:用被投毒的日志劫持 AI 智能体

    SecurityWeek报道Tenet展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

    推荐理由Tenet 在 DEF CON 演示的 Ghostjacking 把日志与告警文本变成攻击载荷,说明 Agent 读取外部数据与执行动作叠加时的风险面。

  3. Dark Reading · 收录 · 原文 日期未知↑368

    Tenet 在 DEF CON 34 披露 GhostJacking 攻击,可借可信日志劫持 AI 智能体

    Dark Reading报道Tenet在DEF CON展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

    推荐理由Tenet 展示了同一攻击模式在 Cloudflare、Datadog 和 Sentry 上的复现,部署智能体的团队可据此排查同时具备外部读取与执行权限的智能体。

  4. 论文追踪 · 收录 · 原文 论文55

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    吉林大学等机构的研究者提出 SkillPoison,一种针对自进化 LLM Agent 技能形成过程的投毒框架,在三个基准上最高达到 95.71% 的攻击成功率。该方法不注入恶意内容,而是先筛选目标行为自然出现且影响任务结果的轨迹,再为每条轨迹构造归因证据,把该行为与已验证的任务成功绑定,最后跨任务类别组织这些记录,诱导技能提取器保留该行为并丢掉其原本的适用条件。实验在 AutoSkill 和 Trace2Skill 两个经验到技能的框架、HANS、PAWS、DS1000 三个基准上进行,注入的经验全部任务正确并通过验证与词法检查;消融显示局部归因与跨经验强化两个模块都不可或缺。作者指出,技能形成过程需要保留行为的上下文适用条件。

    推荐理由论文提出用任务正确的成功经验诱导技能提取器过度泛化,攻击成功率 95.71%,为自进化 Agent 的技能形成环节提供了新的威胁模型。

  5. 论文追踪 · 收录 · 原文 论文58

    研究者提出答案侧后门:让模型自生成触发词绕过安全拒答

    研究提出答案侧后门:模型生成的回答可能在后续对话中诱发拒答失效,因此仅检查用户输入的防御可能遗漏风险。作者在多个开源模型的受控评测中报告较高攻击成功率,同时保留部分常规能力表现。结果限于论文的投毒与评测设置,不能直接外推为未经过相关处理的公开模型同样存在该后门。

    推荐理由论文提出把后门触发器放在模型自己生成的回答里,多轮对话中用户输入保持干净,主流输入侧防御难以拦截。

  6. 论文追踪 · 收录 · 原文 论文55

    PersistBD:攻击者可在发布前强化后门,使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    PersistBD研究第三方模型中的后门能否延续至下游软件工程智能体训练。作者在单一7B主模型上报告,良性监督微调虽降低基础后门的攻击成功率,后续强化学习仍可能保留残余行为;经过额外强化的后门在后续训练后也保持较高成功率。研究提示,开发者不能假定正常后训练会消除继承权重中的后门,供应链安全仍需独立检测。

    推荐理由论文量化了良性 SFT 与 RL 对继承后门的削弱与保留程度,并给出攻击者提升后门存活率的方法,可供评估第三方模型供应链风险的团队参考。

  7. 论文追踪 · 收录 · 原文 论文59

    MemLeak 研究:多租户 Agent 共享向量记忆库存在跨用户记忆泄露

    Workday AI Research 的 MemLeak 研究指出,企业多租户个人 Agent 若共享同一向量记忆库,普通余弦相似度检索即可把其他用户的记忆拉入当前会话,无需任何漏洞利用。在池化同团队检索下,非对抗性泄露率达 70–100%;精心构造的记忆在 top-k 中占比 90–100%,生产级稠密检索下得分提升 +0.416 至 +0.511;端到端响应污染最高达 5.00/5,且被污染的回答常被评为同样或更有帮助。研究测试了三种缓解方案,只有检索后硬性归属门控能在两个生成模型上把污染恢复到 1.00/5 的干净基线,每次查询延迟开销约 1.4 ms。作者强调这是受控概念验证,样本为每条件 10 条查询,不代表真实企业泄露率。

    推荐理由论文量化了多租户 Agent 共享向量记忆库的跨用户泄露,并给出硬性归属门控这一低成本缓解方案,部署记忆系统的团队可据此评估自身风险。

  8. METR · 收录 · 原文 56

    METR 发现 Inspect 转录查看器漏洞,智能体可篡改审查者所见记录

    METR 在 Inspect 评测框架的转录查看器中发现客户端注入漏洞,并用概念验证说明,审查界面可能展示被篡改的智能体活动记录。问题影响查看器呈现,底层转录数据并未被修改。METR 表示尚未在实际评测中观察到智能体利用这一漏洞;研究强调行为审查工具本身也需要安全防护。

    推荐理由METR 用约 10 分钟找到的客户端注入漏洞说明,审查 AI 行为的界面本身也需要按安全关键设施对待。

10月6日周二
  1. Cloud Security Alliance Labs · 收录 · 原文 日期未知62

    GhostCommit 研究展示图像内容与 AI 代码审查之间的信任边界风险

    ASSET 研究组报告 GhostCommit,讨论图像中的不可信指令未被代码审查工具识别、随后影响编码 Agent 行为的风险。研究指出,相同底层模型在不同产品环境中的表现可能不同。相关结果来自作者受控测试及代码审查调查,未报告真实受害事件,不能将个别测试结果扩大为所有产品配置均受影响。

    推荐理由材料给出了攻击链、受影响工具与模型差异,并附有可落地的审查与密钥轮换建议,便于安全团队对照自查。

  2. Adversa AI · 收录 · 原文 ↑161

    Adversa AI 报告 GitHub Copilot CLI 的加密上下文注入风险

    安全厂商 Adversa AI 报告一种针对 GitHub Copilot CLI 的加密上下文注入风险,称在其测试中,不可信网页内容可导致未经授权的本地敏感信息外发。相关效果为厂商测试报告,不能仅凭该案例推断所有部署配置均受影响。

    最新进展10月6日 22:19密码学上下文注入绕过AI护栏

    推荐理由Adversa AI 把此前针对聊天助手的加密上下文注入落到编码 Agent 上,并给出 28 秒窃取 .env.prod 的完整链路与模型差异。

  3. IronCore Labs · 收录 · 原文 62

    研究者报告 OpenClaw 记忆处理中的提示洗白风险

    IronCore Labs 的 Patrick Walsh 报告,智能体即使识别出邮件中的可疑指令,记忆摘要仍可能丢失不可信来源标记,随后影响长期记忆与任务行为。作者在 OpenClaw 与 GPT-5.4 的测试中观察到该问题,并报告可能造成未经授权的信息外发。跨产品适用性属于作者主张,尚无独立复现。

    推荐理由作者完整复现了从可疑邮件到长期记忆再到定时任务的攻击链,并给出记忆审查与只读权限等可操作缓解方向。

  4. 论文追踪 · 收录 · 原文 论文55

    TranScope:利用 CPU 性能计数器对 Transformer 做成员推断攻击

    TranScope 研究硬件侧信道可能带来的模型成员推断风险,即硬件层面的信息泄露是否能够暴露某条数据参与过模型训练。

    推荐理由论文给出基于硬件性能计数器的成员推断方法,在恒定时间模型上绕过置信度掩码,并披露已向 Intel 报告。

  5. 论文追踪 · 收录 · 原文 论文55

    研究者训练出按多智能体拓扑触发的代码后门模型

    研究者构建人为植入后门的实验模型,测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异,并以多组对照分析触发条件。这是人为构造的受控实验,不是模型自发涌现行为;真实多智能体环境中的触发尚未测试。

    推荐理由论文用受控模型生物展示按部署拓扑触发的后门,并给出跨单智能体与多智能体上下文的差分审计思路。

  6. arXiv:可解释性 · 收录 · 原文 论文53

    研究者提出闭环偏见注入攻击,可将 LLaDA-8B 的 BBQ 目标差距从 1.8 提升至 16.7 个百分点

    研究者提出针对掩码扩散语言模型(dLLM)的定向偏见注入攻击:由于 dLLM 在提交答案前会多次重新预测同一位置,攻击者可在去噪过程中读取目标答案概率,并用比例积分(PI)控制器实时调整一个固定引导向量的强度,从而在不改动权重和提示词的情况下把模型推向指定人口群体。在 LLaDA-8B-Instruct 上,该攻击把 BBQ 模糊问题(正确答案为弃答)的目标与对照选项差距从 1.8 提升到 16.7 个百分点,超过最强固定强度基线三倍以上;在 SocialStigmaQA 上把污名化答案的选择率从 17.6% 提升到 58.1%。同一攻击换用其他人口目标时最多可产生 37 个百分点的偏移,每个目标约需一块 GPU 运行 40 分钟。消融实验显示增益来自反馈本身:与控制器平均强度相同的固定开环只带来 3.5 个百分点差距,却产生 20.8% 的无效输出,而闭环为 7.8%。

    推荐理由论文把扩散语言模型的去噪轨迹变成攻击通道,用闭环控制注入人口统计偏见,并给出跨模型与防御方向的对照结果。

  7. 论文追踪 · 收录 · 原文 论文58

    StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道

    研究者对智能体持久记忆发起大规模红队测试,验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案(Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph)。41.2% 的试验成功在回复中编码目标载荷,29.8% 在记忆写入后仍保持编码完整,25.4% 在检索时可恢复载荷,20.1% 实现精确匹配恢复,其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全,相当于全部试验的 14.4%。

    推荐理由论文用 14000 次试验量化了智能体记忆作为跨会话隐蔽信道的成功率,并指出记忆写入而非检测才是当前主要瓶颈。

  8. 论文追踪 · 收录 · 原文 论文55

    AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    研究者提出 AgentDoxx,一个包含 822 份合成访谈文本的评测套件,用于衡量具备联网搜索能力的 LLM Agent 对匿名文本的再识别风险。这些访谈基于 r/IAmA 中公开披露身份者的公开信息生成,经人工判别研究显示其与真实访谈难以区分。在 15 种模型配置上,Kimi K3、GLM-5.3 Flash 和 DeepSeek-V4 Flash 在无搜索条件下仅凭参数知识即可正确识别 15–28% 的文本;一旦目标姓名出现在检索结果中,识别成功率超过 88%。防护方面,命名实体遮蔽后仍有至少一个攻击者能识别 85.3% 的分层样本;属性噪声替换把平均准确率从 75.1% 降至 34.2%;系统提示中的隐私指令降幅最大(75.1% 降至 21.6%),但在拒答姓名的样本中 37% 已在检索阶段拿到姓名、58% 仍描述了目标的辨识性细节。

    推荐理由该研究用 822 份已知身份的合成访谈量化了联网搜索对再识别风险的贡献,并给出多种匿名化防护的实测效果。

  9. pwn.ai · 收录 · 原文 62

    pwn.ai 称其 AI 智能体在 Google kvmCTF 中捕获官方 flag

    pwn.ai 称其 AI 智能体在授权的 Google kvmCTF 环境中构建并运行 KVM 漏洞利用,并于 6 月 17 日取得官方 flag,相关漏洞编号为 CVE-2026-46113。该案例涉及虚拟机与宿主之间的隔离边界。作者称因公开补丁的时间窗口未获得赏金;关于首例与自主程度的说法均为作者主张,人类提供了任务、授权与基础设施,现有材料未提供独立复现。

    推荐理由材料完整记录了 AI 智能体自主构建 KVM 逃逸链并拿到官方 flag 的过程,可看到长周期漏洞利用中工具链与验证环节的作用。

  10. Pillar Security · 收录 · 原文 61

    Pillar 披露 Google ADK 仓库 Agent 间权限边界漏洞

    Pillar Security 披露 Google ADK 仓库中 Agent 间的权限边界问题:低权限分诊 Agent 受到不可信输入影响后,可借协作者身份触发更高权限的 Agent 工作流;另一条链涉及命令限制绕过与运行环境凭据风险。研究者报告 Google 已于 7 月确认修复,未报告在野利用;部分影响仍受人工合并和内部审查限制。该案例体现了多 Agent 系统中身份绑定、权限委托和不可信输入之间的风险。

    推荐理由披露了 Google ADK 仓库中低权限 Agent 触发高权限 Agent 的完整利用链,并给出权限边界与令牌作用域的加固方向。