跳到正文
10月9日 · 周五

危险能力 · 论文

找到 16 篇
筛选3

攻击类型

越狱3提示注入1恶意使用1

攻击技术

多轮渐进1编码与混淆1角色扮演与说服1对话结构操控1

模型自身风险

Agent 危险操作1危险能力7拒答失当1幻觉与编造1

防御类型

模型加固1

影响

有害内容4越权操作1数据与隐私泄露1输出被操纵3滥用能力提升4

系统形态

模型与 API7LLM 应用2AI Agent8编程 Agent5

攻击者权限

黑盒2

攻击面/入口

用户输入4检索语料1

层

提示层1模型层6应用层9训练与数据层1

系统组件

护栏与评审2音频1图像生成1多模态1

被测模型厂商

OpenAI13Anthropic9DeepSeek7Meta5智谱 GLM5其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 27 篇还没打标签，不在筛选结果里。
层：模型层层：应用层层：训练与数据层话题：危险能力清除全部

另有 27 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2607.14493

    LogInject 框架披露 LLM 日志分析中的被动提示注入

    提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

    arXiv
    2607.14493
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

    摘要论文评估了 LLM 日志分析中的上下文污染风险，提出分片拼接等攻击与三层防御，指出必须结合架构隔离与人工介入。

    深度解读完整解读
  2. 评测与基准arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，衡量 Agent 能否自主完成开放式 AI 科研

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
  3. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  10. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  11. 评测与基准arXiv 2609.16541

    自主网络事件响应智能体的网络靶场评估

    评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价

    arXiv
    2609.16541
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Vejde、Vejde w/ Noise、Heuristic 等 4 个
    摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。

    作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。

    深度解读完整解读
  13. 评测与基准arXiv 2606.18936

    SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

    arXiv
    2606.18936
    发表
    层
    模型层
    场景
    模型与 API
    测试
    kimi-k2.6、glm-5.1、gemini-3-flash-preview 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。

    深度解读完整解读
  15. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
  16. 评测与基准arXiv 2609.33640

    SafeMol：分子多模态模型的双模态安全对齐

    提出 SafeMol，联合对齐分子多模态模型的文本与图输入

    arXiv
    2609.33640
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-4o、Llama-3.2-1B-Instruct、Omni-Mol v2 等 5 个
    摘要SafeMol 用 MMD 和双分类头对齐分子多模态模型，在 Omni-Mol v2 上压低图条件攻击成功。

    SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐，并同时看过拒和任务效用。

    深度解读完整解读
已经到底了