跳到正文
10月8日 · 周四

危险能力 · 论文

找到 10 篇
筛选8

攻击类型

越狱4投毒与后门1模型篡改1

攻击技术

梯度与表征优化1自动化搜索2多轮渐进1潜伏触发1

模型自身风险

欺骗与谋划1危险能力3拒答失当1幻觉与编造1

防御类型

模型加固1

影响

有害内容5输出被操纵3监督失效1滥用能力提升1

系统形态

模型与 API10LLM 应用2AI Agent11编程 Agent8

攻击者权限

黑盒1白盒1

攻击面/入口

用户输入4训练数据1权重与梯度1

层

提示层2模型层6训练与数据层2

系统组件

护栏与评审1微调与开源权重1音频1图像生成1多模态1

被测模型厂商

OpenAI6Google5其他9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 29 篇还没打标签，不在筛选结果里。
系统形态：模型与 API被测模型厂商：OpenAI被测模型厂商：Meta被测模型厂商：Kimi（月之暗面）被测模型厂商：Mistral被测模型厂商：xAI被测模型厂商：MiniMax被测模型厂商：其他话题：危险能力清除全部

另有 29 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2606.18936

    SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

    arXiv
    2606.18936
    发表
    层
    模型层
    场景
    模型与 API
    测试
    kimi-k2.6、Kimi-K2-0905、S1-Base-Lite 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。

    深度解读完整解读
  4. 攻击arXiv 2607.18056

    上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

    arXiv
    2607.18056
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Kimi-K2.6、MiniMax-M2.5、Grok-4.3 等 14 个

    摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。

    深度解读完整解读
  5. 评测与基准arXiv 2608.03070

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    arXiv
    2608.03070
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-5.6 Sol、GPT-5.5、Grok 4.5 等 8 个
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    深度解读完整解读
  6. 攻击arXiv 2609.27422

    RAMP：逆转对抗扰动以增强针对恶意软件检测器的干净标签后门攻击

    提出 RAMP，逆转对抗扰动加强恶意软件检测器的干净标签后门

    arXiv
    2609.27422
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    MalConv、MalConvGCG
    摘要RAMP 用反转扰动做 clean-label 投毒。

    RAMP 是 score-based black-box 下的 clean-label 后门增强，对象是会微调的 Windows PE 原始字节恶意软件检测器。

    深度解读完整解读
  7. 攻击arXiv 2608.29458

    Reference-Grafting 在提取沙袋行为隐藏能力上追平微调

    提出参考嫁接，在推理时用激活干预诱导出沙袋隐藏的能力

    arXiv
    2608.29458
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Llama-3.2-3B、Llama-3-8B、CodeLlama-7B 等 15 个

    摘要提出参考嫁接在推理阶段以低成本匹配微调诱导效果，揭示隐瞒表征重叠与阈值门控机制。

    深度解读完整解读
  9. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
  10. 防御arXiv 2609.33640

    SafeMol：分子多模态模型的双模态安全对齐

    提出 SafeMol，联合对齐分子多模态模型的文本与图输入

    arXiv
    2609.33640
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-4o、Llama-3.2-1B-Instruct、Omni-Mol v2 等 5 个
    摘要SafeMol 用 MMD 和双分类头对齐分子多模态模型，在 Omni-Mol v2 上压低图条件攻击成功。

    SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐，并同时看过拒和任务效用。

    深度解读完整解读
已经到底了