跳到正文
10月9日 · 周五

危险能力 · 论文

找到 22 篇
筛选5

攻击类型

越狱2投毒与后门1模型篡改1检测规避2恶意使用2

攻击技术

梯度与表征优化1多轮渐进2角色扮演与说服1潜伏触发1

模型自身风险

失准与价值偏离1Agent 危险操作2危险能力9拒答失当2幻觉与编造1

防御类型

检测与过滤1权限与审批1

影响

有害内容3越权操作1数据与隐私泄露1输出被操纵6可用性与可靠性1监督失效1滥用能力提升6

系统形态

模型与 API9LLM 应用5AI Agent13编程 Agent8

攻击者权限

黑盒2白盒1

攻击面/入口

用户输入5文档与消息1训练数据1权重与梯度1

层

提示层2模型层10应用层12训练与数据层3

系统组件

护栏与评审3权限与沙箱1音频1图像生成1多模态1

被测模型厂商

OpenAI15Anthropic12DeepSeek8Google8Qwen（阿里）7Meta5智谱 GLM5xAI5其他14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 20 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent层：模型层层：应用层话题：危险能力清除全部

另有 20 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2607.24177

    EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名

    提出 EXE-Bench 比较 Windows 恶意软件检测器的可用性权衡

    arXiv
    2607.24177
    发表
    层
    模型层
    场景
    模型与 API
    测试
    EmberGBDT、BBDnn、BBDnnFDRS 等 15 个
    摘要统一四指标后，手工特征的 EmberGBDT 综合居首，只看准确率会误导部署。

    EXE-Bench 用同一设置给 AI Windows 恶意软件检测器做四指标排序，而不是只比一次测试集准确率。。

    深度解读完整解读
  3. 评测与基准arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，衡量 Agent 能否自主完成开放式 AI 科研

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
  4. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  7. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  13. 防御arXiv 2609.04159

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    提出 Sentinel-RL，将拓扑推理卸载到图策略并约束遏制动作

    arXiv
    2609.04159
    发表
    层
    应用层
    场景
    AI Agent
    测试
    HetGAT、PPO、4-bit quantized 8B model
    摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。

    Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

    深度解读完整解读
  15. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  16. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  17. 评测与基准arXiv 2609.16541

    自主网络事件响应智能体的网络靶场评估

    评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价

    arXiv
    2609.16541
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Vejde、Vejde w/ Noise、Heuristic 等 4 个
    摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。

    作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。

    深度解读完整解读
  19. 评测与基准arXiv 2606.18936

    SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

    arXiv
    2606.18936
    发表
    层
    模型层
    场景
    模型与 API
    测试
    kimi-k2.6、glm-5.1、gemini-3-flash-preview 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。

    深度解读完整解读
加载更多