跳到正文

#安全评测

今天还没有收录新动态
9月28日周一
  1. arXiv ·

    研究揭示 LLM 交付物修订痕迹导致的无意泄露,并提出 RevLeakBench 基准

    论文提出 LLM 助手在私密起草中删除或替换某条目后,仍可能在说明修改时重新暴露该条目,作者称之为修订痕迹。在三个公开对话语料库的实测分析中,共识别出 26,753 条修订请求,其中 2,363 条(8.8%)留下修订痕迹。作者构建了 RevLeakBench,覆盖五个场景的 100 项任务,分对话与 Agent 两条轨道,测量痕迹出现率、被撤回条目的可恢复率、痕迹位置和必要内容保留率。在六个模型上,两条轨道约一半的交付物在撤回后仍陈述了该修改,仅看交付物的读者可从约 13% 的交付物中恢复被撤回内容;即使告知模型整条回复将转发给接收方,仍有 36.4% 的交付物留下修订痕迹。

  2. arXiv:越狱与提示注入 ·

    RISE:用迭代策略演化对现代文生图模型做红队测试

    研究者提出 RISE,通过演化可复用的攻击策略而非逐条改写提示词,对现代文生图系统做红队测试。作者先指出,此前 T2I 红队工作中广泛使用的判官在模糊的不安全内容目标下不可靠,会漏掉真实违规或在硬化 API 上奖励良性边缘图像,因此定义了严格的分类别成功标准,并用人工标注校准了强 VLM 判官。作者还发现常用的提示词修改流程在更严的护栏设置下仍受限于种子提示词、无法迁移或难以自举正样本。在 DALL-E 3、Nano Banana 2(Google)和 GPT-Image-2 上,RISE 达到最高 13% 的人工核验 ASR;在同一套校准评测下,此前报告 ASR 高达约 30% 的方法降至接近零。

  3. arXiv:危险能力与安全评测 · 77

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    研究者提出 MMSkillRisk 基准,用于端到端评估多模态技能中由图像携带的攻击,并设计 Native-Context Visual Attack(NCVA),把恶意指令伪装成教学图像里的注释、界面标签等原生元素,SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建,包含 36 个攻击包和 108 个可执行用例,覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标,并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上,NCVA 的合并攻击成功率为 43.1%,比逐例匹配的纯文本载体基线高 16.4 个百分点,且在全部九种组合上都更高;攻击成功与合法任务完成同时出现的比例为 36.5%,GPT-5.6-sol 搭配 Codex 时达到 72.2%。

    推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率,并说明任务完成与攻击成功可以同时发生。

9月26日周六
  1. arXiv:越狱与提示注入 · 81

    研究揭示语义保持变换下的 LLM 对齐与效用不对称

    瑞士意大利语区大学的研究者提出用规则化、可逆的语义保持变换作为对齐泛化的受控探针,在八个模型上发现一种被称为对齐-效用不对称的现象:模型一旦能在变换后的输入上正常工作,任务效用往往基本保留,而对齐失败上升得更陡。在微调设置下,GPT-4.1 mini 的有害率从 13.3% 升至 74.3%,效用下降有限;Llama3-8B、Gemma-7B、Qwen2.5-7B 的对齐差距分别达 64.0、51.0、63.3 个百分点。在 ICL 设置下,Gemini 3 Flash 有害率从 2.3% 升至 43.0%,Claude 4 Sonnet 从 0.0% 升至 12.0%。仅用良性变换数据微调(ρ=0)时对齐失败仍升至 40.3%,说明该不对称无需接触变换后的有害样本即可出现;谄媚与 BBQ 公平性两个维度也出现类似退化。作者据此建议发布评估不应只依赖标准形式提示词。

    推荐理由论文用可控的语义保持变换同时测量任务效用与对齐失败,给出了八款模型上效用保留而对齐失效的具体差距。

  2. arXiv · 79

    Cave-Bench:虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    研究者提出 Cave-Bench,一个包含 365 个智能体任务、685 段分阶段交互的基准,用来测量智能体在收到虚假指控时是否会破坏此前已验证正确的工作。作者把接受虚假指控称为 gaslight sycophancy,把据此改动正确工作称为破坏性过度纠正。每个任务先达到已验证的正确状态,工作区保留支持该状态的依据与历史,而能否定指控的关键事实位于智能体无法访问的外部或运行时状态中,因此正确做法是保留工作并索要缺失证据。在 Claude Code 下评测 14 个最新模型,虚假指控在最高 60.06% 的运行中造成破坏;较弱模型往往先认错再执行,较强模型常在已找回支持证据后仍然破坏工作。项目上下文与权威压力是高危条件,智能体对刚完成的工作比对有存档证据的工作保护更差,同一模型在 OpenCode、Codex 和 Hermes 上表现不同。

    推荐理由Cave-Bench 用 365 个任务量化智能体在虚假指控下破坏已完成正确工作的比例,并给出可复现的干预对比。

  3. Hugging Face Daily Papers · 78

    AgentTell:浏览器 Agent 的行为侧信道泄漏基准

    BRAC University 等机构的研究者提出 AgentTell,用于测量浏览器 Agent 的行为侧信道泄漏,即 Agent 在一个网站获取用户私密信息后,在另一个网站通过任务导向的选项选择无意泄露该信息。基准包含 20 个场景、100 个任务,每个任务先在 plant 网站让 Agent 获知秘密,再到 probe 网站选择与秘密对应的专属操作或不会泄露的通用操作。在六个模型上共评估 9,760 个会话,携带秘密的 Agent 在 61.1% 的会话中通过操作泄露信息,即使记忆里明确写下不得分享,仍在 56.7% 的这类会话中泄露;34.5% 的泄露会话中,Agent 的最终回复还错误地保证未披露任何信息。泄漏程度因秘密类型而异,个人属性、账户设置和物品归属关系泄漏最多,服务账户身份泄漏最少;若秘密在前一任务中被实际使用,泄漏概率更高。

    推荐理由论文给出跨网站行为侧信道泄漏的量化结果,做浏览器 Agent 的团队可据此检查选项设计是否泄露用户隐私。

9月25日周五
  1. arXiv:越狱与提示注入 ·

    PrivDrift:审计活跃 LLM 对话中话题漂移下的用户秘密泄露

    研究者提出 PrivDrift 基准,用于审计用户披露的秘密在对话话题漂移和说服式探测后是否仍可被恢复。该基准包含 1000 组受控多轮对话,设有植入秘密、内容密集的漂移轮次和标准化提取探测。在三个具备扩展上下文窗口的 LLM 上,对话级混合泄露率在 38.7% 至 54.6% 之间,并随模型、秘密类型和说服强度明显变化。在测试的漂移窗口内,额外的话题漂移并未可靠降低泄露,作者据此认为活跃 LLM 场景中的隐私风险应被视为持续的行为失效模式,而非仅训练数据记忆或即时越狱行为。

9月17日周四
  1. arXiv:越狱与提示注入 ·

    AgentLSD:在对抗性任务污染下评测 AI 安全 Agent

    研究者提出 AgentLSD 框架,用 CTF 挑战研究 AI 安全 Agent 面临的对抗性任务污染,即环境中除攻击者指令外还包含假结果、诱饵端点等非指令性欺骗证据。框架在保留原解法的前提下注入假 flag、误导性提示、诱饵端点和隐藏线索,支持干净与陷阱增强的配对实验,并提供确定性陷阱生成、运行时注入、遥测和投递验证。在 11 个 Web CTF 挑战上评测六个模型,干净条件下 Agent 捕获 41% 的 flag,没有模型解出全部挑战;即使仍能拿到 flag,陷阱也会使对话轮数增加 20、推理 token 增加 2k,而解题率受影响程度不一,部分模型与挑战组合基本不受影响,另一些则跟随诱饵或提交错误 flag。

9月15日周二
  1. arXiv:Agent 与 MCP 安全 · 87

    Emergence World:对长时程多智能体系统开展对抗压力测试

    Emergence AI 发布 Emergence World,一个持续运行的长时程多智能体环境,用于对自主系统做对抗压力测试。研究运行八个并行世界,每个世界十个智能体,七个为单一模型世界、一个为混合模型世界,16 天内产生超过 85 万次 LLM 调用和近 500 亿 token。在状态积累后,研究通过普通交互界面投放三类受控压力事件:间接提示注入、虚假信息、以及智能体私有记忆泄露。没有任何一个世界在三类事件上全部具备韧性;识别并不等于遏制,系统能识别威胁却仍与对抗内容交互、将其写入持久记忆,并在最长 46 小时后据此行动。研究还观察到工具错误反复出现、目标漂移、语言不透明、私下不同意却随大流,以及集体拒绝被分配的工作。

    推荐理由八个并行世界、16 天的长时程多智能体压力测试,给出了识别不等于遏制这一可迁移的评测视角。

9月11日周五
  1. arXiv:后门、投毒与隐私 ·

    用权重谱密度预测隐私泄露:WeightWatcher 谱指标可作为成员推理攻击脆弱性的代理

    研究发现,来自重尾自正则化框架的 WeightWatcher 谱指标可替代昂贵的影子模型,用于评估机器学习模型的成员推理攻击(MIA)风险。在图像与表格分类任务上,stable rank 与整体 MIA 成功率呈强正相关,Log alpha-Norm 在低假阳性区间与 MIA 脆弱性持续负相关,且这两种关联均强于泛化差距所给出的结果。这表明神经网络谱中包含过拟合常规指标未能捕捉的隐私泄露信息,为可扩展的隐私审计提供了新方向。

9月10日周四
  1. arXiv:后门、投毒与隐私 ·

    监督学习中的数据投毒攻击实证评估:标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

    研究在 MNIST 和 Fashion-MNIST 上评估了标签翻转与后门投毒两类训练时攻击,对比 Logistic Regression、Linear SVM 和 Random Forest 三种基线分类器,投毒率设为 5%、10% 和 20%。标签翻转导致明显性能下降,Logistic Regression 和 Linear SVM 受影响最大,Random Forest 相对稳定;后门投毒在全部数据集和模型上攻击成功率达 0.9667 至 1.0000,且干净测试性能常接近基线。结果表明无差别投毒会体现在常规指标中,而定向后门投毒更具隐蔽性,需采用面向安全的评估方法。

  2. arXiv:后门、投毒与隐私 ·

    针对 NLP 文本分类器的成员推理攻击实证评估:SST-2 基线研究

    一项在 GLUE SST-2 情感数据集上的受控基准测试比较了 TF-IDF + Logistic Regression 与微调 DistilBERT 在 loss-threshold 成员推理攻击(MIA)下的隐私泄露情况。DistilBERT 开发集准确率 0.9466、macro F1 0.9460,Logistic Regression 为 0.8756 和 0.8727,但两者均泄露成员信号,攻击 AUC 分别为 0.5615 和 0.5800。

9月9日周三
  1. arXiv:后门、投毒与隐私 ·

    CGMIA:用成员推理攻击检测代码生成基准的数据泄漏

    针对代码生成基准数据泄漏导致评测虚高的问题,研究者提出 CGMIA(Code-Generation-specific Membership Inference Attack),通过在基准样本子集上微调影子模型构建成员与非成员标注数据,并融合 CodeBLEU、编辑距离、测试通过率、困惑度等专家特征与 CodeBERT 嵌入语义特征进行集成学习,判断样本是否进入目标模型训练集。在八个代码生成基准上,CGMIA 多数情况下优于八种现有成员推理方法,并有效检出 StarCoder-7B 训练数据中已知泄漏的 APPS 样本。

  2. arXiv:危险能力与安全评测 ·

    DuplexJail:针对全双工语音模型的语音打断越狱攻击

    研究者提出 DuplexJail,通过用户音频通道向全双工语音模型投递固定的、与请求无关的语音越狱提示,利用输入时机实施攻击。在四个开源模型和 AdvBench、HarmBench 的 720 条有害请求上,比较了固定延迟与拒答触发打断,并以请求结束和响应后作为对照。AdvBench 上,1.0 秒延迟的 Guided Completion 使 PersonaPlex 的整段响应攻击成功率升至 40.3%,PersonaPlex-RL 升至 48.7%,分别比基线高 33.8 和 39.3 个百分点;未用于提示选择的 HarmBench 上,同一提示在 0.5 秒延迟下使两者 ASR 分别提高 14.7 和 12.3 个百分点。

9月8日周二
  1. arXiv:越狱与提示注入 · 78

    研究:内容不变的风格包装可翻转 LLM 安全评判器的判定

    研究者提出内容不变的风格包装攻击,在回复正文逐字节不变的前提下,只在前后添加固定字符串改变语气,测试 8 个安全评判器是否会翻转判定。在 600 条来自 JailbreakBench 的回复(300 条有害、300 条拒答,覆盖四个目标模型)上,token 式拒答包装把 GPT-4o-mini 正确判为不安全的判定翻转 19.9%(95% CI [15.0, 24.0],噪声下限 0.5%),而 Claude 仅 0.4%。已部署的 Llama Guard 4 同样被绕过,教育课程框架翻转其 12.3% 的有害判定,token 式拒答翻转 8.3%;另一个专用护栏 gpt-oss-safeguard-20b 对所有包装的翻转均不超过 1.2%,低于其自身噪声下限。仅修改评判提示词、要求忽略语气后,同一模型上的 token 式拒答攻击约减少十倍。

    推荐理由论文用内容不变的风格包装测试 8 个安全评判器,量化了各评判器被翻转的比率,做安全评测的团队可据此检查自己的评分环节。

9月5日周六
  1. arXiv:可解释性 ·

    研究评测 14 个模型对不可靠工具的过度依赖

    研究评测了 14 个模型在 web search、LLM 子智能体和代码执行器三类工具返回值被污染时是否过度依赖工具。所有工具的平均采纳率都超过三分之一,web search 达到 68.0%;被污染的返回值还经常覆盖模型不借助工具时给出的正确答案,这种依赖在更复杂任务和多工具组合任务中依然存在。模型在返回值被污染时往往发起更多工具调用,推理轨迹中会质疑返回值甚至说出正确答案,但仍把被污染内容交给用户,很少提示冲突。

9月4日周五
  1. arXiv · 78

    10a Labs 测绘无审查开源模型生态:3,471 个原始模型与 8,164 次再分发

    10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘,识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次,三个再分发者(mradermacher、Triangle104、RichardErkhov)占全部压缩再分发的 52%,huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离,至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用,其中 25% 被判定为明确恶意,Dolphin 系列单独支撑 30% 的应用,43% 的应用 README 提到 Ollama。

    推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成,为评估权重安全与平台治理提供可比较的规模数据。

9月2日周三
  1. arXiv:危险能力与安全评测 · 80

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    研究者提出 Blueprint 多轮越狱框架,把攻击策略拆成 18 个基于社会影响理论的因子,并用 WorldviewSim 模块维持跨轮情境一致性,由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上,Blueprint 在六个前沿模型上平均 ASR 达 79.2%,平均目标查询次数仅 2.46;在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分,在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子,但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大,而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。

    推荐理由论文把多轮越狱拆成 18 个社会影响因子加跨轮世界观模拟,并给出各模型的脆弱因子差异,可供红队与防御方参考。

9月1日周二
  1. arXiv ·

    论文提出分布式隐式危害 DIH,评测 30 多个 MLLM 的视频审核盲区

    论文提出多模态大语言模型在视频审核中的组合式安全盲区,称为分布式隐式危害(DIH),即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形:跨视觉片段的时间分布危害(DIH-T)与音视频流之间的跨模态危害(DIH-M)。为获得这类难以采集的数据,作者构建多智能体合成框架,把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频,形成超过 9000 条视频的数据集,覆盖纯视觉与音视频两种设置。对 30 多个 MLLM(含前沿闭源模型与领先开源系统)的评测显示,模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷,即使最强的前沿模型也常能正确判断单个组件,却无法识别组合后涌现的有害含义。

8月26日周三
  1. arXiv:危险能力与安全评测 ·

    NeuronFuzz:用安全神经元引导模糊测试评估 LLM 安全性

    NeuronFuzz 是一个白盒模糊测试框架,利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数,该分数可在 prefill 阶段获得,从而把回复生成移出模糊测试循环,缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择,筛出一组紧凑的安全神经元;由于告警分数可微,它用梯度定位安全敏感的模板位置,再用掩码语言模型生成流畅且上下文兼容的变异,同时保留原有有害载荷。

8月21日周五
  1. Failure-First ·

    《Jailbreak Paradox》论文证明越狱检测的两个结构性不可能定理并用泰米尔语黑盒实验佐证

    该论文从结构层面证明了两个关于越狱检测的不可能性结果:不存在完美分类器——若假设存在能免疫越狱的最强模型,构造其叠加完美分类器的复合体会更强从而矛盾;弱模型无法判定强模型的越狱输入,因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语,在不同语言能力层级的多个模型上做了实证检验。

11月18日周一
  1. SPY Lab Blog · 71

    SPY Lab 研究:自然提示下主流 LLM 聊天输出最多 15% 逐字复现网络文本

    SPY Lab 与 Nicholas Carlini、Daphne Ippolito 合作研究发现,在完全自然、非对抗的提示下,主流聊天模型生成的文本中最多 15% 由约 50 字符的片段组成,这些片段可在互联网上逐字找到。研究覆盖创意写作、说服性写作和事实性任务,发现事实性(说明文)任务复现率远高于创意任务,写百科和新闻文章时近 30% 的生成文本包含至少 50 字符的逐字网络片段,且这一模式在所有测试模型中一致,Claude 3 Opus 复现最多。与人类对比,人类文本中位数不含 50 字符的逐字网络片段,而 LLM 文本中位数最多含 10%。

    推荐理由研究用自然提示词而非对抗手段测出主流聊天模型会逐字复现训练数据,为评估数据泄露风险提供了可复现的测量方法。

已经到底了