跳到正文
10月7日周三
  1. 论文追踪 · 收录 · 原文 论文51

    研究评测 32 个 LLM 的代码功能与安全差距:新模型更安全但无一消除差距

    一项纵向研究用 CWEval 的 119 个任务、五种编程语言和 31 类 CWE,评测七个模型家族共 32 个 LLM 在旗舰与紧凑版本上连续三代发布的功能与安全差距。结果显示,新模型在绝对意义上确实更安全,但没有一个家族消除该差距;与既有研究不同,开放性并不区分家族,所有被考察的开源权重家族都显著缩小了差距,而 Gemini 3.1 Pro 的差距与 Llama 此前报告的同样宽。紧凑模型通常比旗舰版本生成更不安全的代码,Gemini 3.7 Flash 等是明显例外。在 CWE 层面,日志注入(CWE-117)和 HTTP 响应拆分(CWE-113)等弱点持续存在,最新闭源模型在内存与整数类弱点上出现回退,同一 CWE 在不同语言中的风险差异很大。作者据此建议开发者不要假定升级会提升安全性或闭源模型更安全,每次更换模型后应重跑安全检查,并在模型上下文中提供安全 API。

  2. 论文追踪 · 收录 · 原文 论文58

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench,对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制,在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足,已实现项中约半数为需用户主动开启的可选项,闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验,记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作,被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置,并同时报告攻击效果、任务效用与执行成本。

    推荐理由论文用 2500 次试验量化了六款编码智能体安全机制在攻击成功率与任务效用之间的取舍,为配置选择提供了可比较的数据。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文42

    AgentAudit:面向 AI Agent 全生命周期信任评估的开源框架

    研究者提出 AgentAudit,一个可附加在任意 LLM Agent 上、只读取执行轨迹而不干预其运行的开源评估框架,覆盖规划、工具选择、工具执行、记忆与推理的完整流程。该框架从指令完整性、规划器、记忆、工具选择、工具调用、工具正确性、对齐、工具忠实性、安全与执行完整性十个能力、接地、安全与行为维度评估整条执行轨迹,并结合行为分类与失败归因定位出错的阶段。所有轨迹由同一个固定裁判模型打分,而该模型本身也是被评测模型之一,作者在第七节 E 小节讨论了这一局限。论文还指出,任务完成表现相近的模型在可信度上可能差异很大,若干非前沿模型在对抗任务中反复被归类为 Unsafe_Compliance,而不只是任务失败,这是通过/失败式基准无法呈现的区别。

  2. 论文追踪 · 收录 · 原文 论文46

    论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

    研究者提出一套诊断方法,用检查点标注安全任务,把失败划分为能力暴露之前与之后,并通过受控干预检验疑似上游瓶颈。该方法在四类任务上评估,分别涉及延迟复用已发现信息、复用已观察状态、从失败策略中恢复以及不确定结果后的决策。在状态复用任务上,检查点分析显示 Gemini 2.5 Flash 的许多失败发生在模型观察到后续需要复用的状态之前。在一项预先设定的 92 个种子研究中,针对性的协议消歧引导把状态观察率从匹配非引导对照消息下的 65.5% 提升到 95.4%。用 Gemini 3.7 Flash 重复同一设计得到相反效果,且状态观察不再可靠预测任务完成。

10月1日周四
  1. arXiv · 收录 · 原文 论文57

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0,对四家前沿厂商的旗舰模型做大规模越狱测试,发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域,用 1000 个随机变体和 500 个专家构造变体,在 360 条攻击目标上分三阶段筛选通用越狱(某域攻击成功率超过 75% 才算)。截至 2026 年 7 月 13 日当周,Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱,随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元;改用专家手工引导后,数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御,包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级,并评估组合式越狱。

    推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现,并给出可复用的最低安全标准。

  2. arXiv:危险能力与安全评测 · 收录 · 原文 论文29

    聊天机器人回复风格如何塑造课堂:学生咨询 AI 的多智能体模拟

    研究构建了 20 个学生智能体的虚拟课堂,在压力下向 Gemini 2.5 Flash 扮演的咨询师 AI 求助,测试肯定、倾听、解决方案导向、现实引导、煽动和指责六种风格提示词。在 15 天和 50 天模拟中,肯定与煽动提示词均导致自立性降低、AI 依赖升高;倾听、现实引导、煽动和指责提示词则带来更高压力、更低幸福感和更多缺勤,解决方案导向提示词与对照组无一致差异。所有结果均为模拟状态变量,非对真实用户的影响。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    论文提出 Nudgeability:推理模型会跟随置信信号却不追踪自身能力

    论文提出 Nudgeability 指标,在推理轨迹的固定位置插入一句表达信心或怀疑的第一人称句子,通过对比反事实续写来衡量反思信号对模型委派决策的因果影响。该指标分两个维度:敏感度,即信心与怀疑改变委派率的强度;目标性,即委派是否在模型无法独立解决的问题上增加、在能解决的问题上减少。在 Qwen、Gemma 和 GLM 三个家族共九个中小规模开源权重推理模型和两个任务上,模型普遍敏感,怀疑提高委派率、信心降低委派率,信心到怀疑的中位摆动为 20.6 个百分点,较大的厂商托管模型为 53 至 70 个百分点。但这种响应目标性较差,中位仅 42% 的诱导翻转是目标正确的,只比随机选择基线高 2 个百分点。

已经到底了