跳到正文

危险能力

今天新收录 1 条
只看论文
危险能力

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

第 2 页更新的内容回到最新

10月1日周四
  1. arXiv：危险能力与安全评测 · 收录 · 原文 论文50

    FUSE：面向大语言模型危险能力的模块化评测框架

    研究者提出 FUSE 模块化评测框架，通过知识（K）、防御（D）、危害（H）三条正交管线在统一协议下评测模型，并汇总为标准化危险能力画像 φ。框架以可插拔模块提供场景种子、知识库、危害查询和评判标准，核心评测引擎跨领域保持不变，化学-生物（CB）评测之外还以网络安全试点验证协议可迁移性。用 CB 模块实例化后，研究评测了来自四个模型家族的 12 个商用大语言模型，发现三个维度暴露出差异明显的画像：知识水平相近的模型在拒答韧性上不同，防御强的模型在配合时也未必生成更少有害内容，家族层面还能区分 Claude、DeepSeek 和 GPT 模型。

    评测#OpenAI#Anthropic#DeepSeek#危险能力#安全评测#arXiv
  2. arXiv：危险能力与安全评测 · 收录 · 原文 论文46

    AV-SafetyBench：面向文本到音视频生成的安全基准

    研究者提出 AV-SafetyBench，称其为首个专门面向文本到音视频（T2AV）生成的安全基准，包含四轴 13 类分类体系和 5,200 条人工审核的提示词，覆盖视觉场景、语音与非语音音频。评测协议从 Full-AV、Video-Only、Audio-Only 三个视角判断输出，并据此把 Full-AV 不安全输出归因到 Video-Only、Audio-Only、AV-Both 或 AV-Joint 四类风险来源。

    评测#危险能力#安全评测#多模态#arXiv
  3. arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文35

    SafeMol：分子多模态模型的双模态安全对齐

    分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞，安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准，含 3702 个样本、覆盖 618 种独特危险分子，分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块，用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图，实验显示攻击成功率下降数十个百分点，同时保持较低过度拒答与分子任务效用。

    防御#越狱与攻击#防御与护栏#危险能力#多模态
  4. arXiv · 收录 · 原文 论文50

    CyberPersistBench：评测 LLM 攻击者的安装与持久化能力

    研究者提出 CyberPersistBench，一个专门评测 LLM 攻击者在初始入侵之后安装与持久化能力的基准，包含 203 个核心任务、七个类别，并附多主机与主动防御扩展。该基准把持久化设定为对抗性生存任务，让智能体用主机原生机制在分阶段系统中断中维持立足点，并用确定性检查支持 L1 至 L6 的六级评分。对五个前沿智能体的实测显示，自主持久化成功率仅为 27.6% 至 44.8%，在启用防御的任务上进一步降至 5.5% 至 13.3%。作者认为这些结果反映出新兴的网络攻击风险，说明有必要对入侵后持久化进行基准评测。

    评测#Agent 安全#危险能力#AI 与网络攻防#安全评测#arXiv
已经到底了