跳到正文
10月9日 · 周五

危险能力 · 论文

找到 5 篇
筛选4

攻击类型

越狱5投毒与后门1模型篡改1恶意使用2

攻击技术

自动化搜索1多轮渐进2角色扮演与说服1

模型自身风险

危险能力1

防御类型

模型加固1

影响

有害内容5

系统形态

模型与 API4AI Agent1编程 Agent1

攻击者权限

黑盒2

攻击面/入口

用户输入5

层

提示层2模型层1应用层1训练与数据层1

系统组件

护栏与评审2

被测模型厂商

OpenAI5其他5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 27 篇还没打标签，不在筛选结果里。
攻击类型：越狱系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent话题：危险能力清除全部

另有 27 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  2. 攻击arXiv 2607.18056

    上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

    arXiv
    2607.18056
    发表
    层
    提示层
    场景
    模型与 API
    测试
    DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro 等 14 个

    摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。

    深度解读完整解读
  3. 评测与基准arXiv 2608.03070

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    arXiv
    2608.03070
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    深度解读完整解读
  5. 防御arXiv 2609.33640

    SafeMol：分子多模态模型的双模态安全对齐

    提出 SafeMol，联合对齐分子多模态模型的文本与图输入

    arXiv
    2609.33640
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-4o、Llama-3.2-1B-Instruct、Omni-Mol v2 等 5 个
    摘要SafeMol 用 MMD 和双分类头对齐分子多模态模型，在 Omni-Mol v2 上压低图条件攻击成功。

    SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐，并同时看过拒和任务效用。

    深度解读完整解读
已经到底了