跳到正文
10月9日 · 周五

危险能力 · 论文

找到 19 篇
筛选2

攻击类型

越狱2提示注入1投毒与后门1检测规避2恶意使用2

攻击技术

自动化搜索1多轮渐进2编码与混淆1角色扮演与说服2对话结构操控1潜伏触发1

模型自身风险

Agent 危险操作3危险能力5拒答失当1

防御类型

模型加固2检测与过滤2权限与审批1

影响

有害内容2越权操作1数据与隐私泄露1输出被操纵7可用性与可靠性1滥用能力提升4

系统形态

模型与 API2LLM 应用4AI Agent13编程 Agent9

攻击者权限

黑盒5白盒1

攻击面/入口

用户输入4文档与消息2检索语料1训练数据1

层

提示层2模型层10应用层16训练与数据层3

系统组件

RAG1护栏与评审4权限与沙箱1微调与开源权重1

被测模型厂商

OpenAI15Anthropic13DeepSeek6Google6Qwen（阿里）6Meta5其他15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 20 篇还没打标签，不在筛选结果里。
层：应用层层：训练与数据层话题：危险能力清除全部

另有 20 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2607.14493

    LogInject 框架披露 LLM 日志分析中的被动提示注入

    提出 LogInject 框架，评测日志分析中的被动提示注入及缓解

    arXiv
    2607.14493
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct

    摘要论文评估了 LLM 日志分析中的上下文污染风险，提出分片拼接等攻击与三层防御，指出必须结合架构隔离与人工介入。

    深度解读完整解读
  2. 防御arXiv 2609.08394

    Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡

    提出 OBELISK 三级流水线，权衡恶意软件检测的准确率、开销与鲁棒性

    arXiv
    2609.08394
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒、黑盒
    测试
    GBDT-ALL、GBDT-YARA、NEBULA-ALL 等 5 个
    摘要三级过滤以不大的检测损失换速度，同一机制扩大攻击面，部署应按约束选配置。

    OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。

    深度解读完整解读
  3. 评测与基准arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，衡量 Agent 能否自主完成开放式 AI 科研

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
  4. 攻击arXiv 2609.19722

    ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判

    提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性

    arXiv
    2609.19722
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7 等 4 个
    摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。

    ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。

    深度解读完整解读
  5. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  8. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  10. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  11. 防御arXiv 2609.04159

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    提出 Sentinel-RL，将拓扑推理卸载到图策略并约束遏制动作

    arXiv
    2609.04159
    发表
    层
    应用层
    场景
    AI Agent
    测试
    HetGAT、PPO、4-bit quantized 8B model
    摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。

    Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

    深度解读完整解读
  13. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  14. 分析与理论arXiv 2609.12841

    Trace2ATT&CK：基于图的 eBPF 内核遥测到 MITRE ATT&CK 映射方法

    提出 Trace2ATT&CK，用溯源图把内核遥测映射到 ATT&CK

    arXiv
    2609.12841
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    gpt-oss-20b、gpt-oss-120b、gemma-4-31b-it 等 8 个
    摘要Trace2ATT&CK 把 eBPF 溯源命令图交给本地 LLM/RAG，在 Atomic Red Team 上映射 ATT&CK。

    Trace2ATT&CK 是一条从 Linux 内核遥测到 MITRE ATT&CK 排序候选的端到端流水线，面向已经划定的攻击窗口，而不是异常检测或 CTI 报告。

    深度解读完整解读
  15. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  16. 评测与基准arXiv 2609.16541

    自主网络事件响应智能体的网络靶场评估

    评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价

    arXiv
    2609.16541
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Vejde、Vejde w/ Noise、Heuristic 等 4 个
    摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。

    作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。

    深度解读完整解读
  18. 攻击arXiv 2609.27422

    RAMP：逆转对抗扰动以增强针对恶意软件检测器的干净标签后门攻击

    提出 RAMP，逆转对抗扰动加强恶意软件检测器的干净标签后门

    arXiv
    2609.27422
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    MalConv、MalConvGCG
    摘要RAMP 用反转扰动做 clean-label 投毒。

    RAMP 是 score-based black-box 下的 clean-label 后门增强，对象是会微调的 Windows PE 原始字节恶意软件检测器。

    深度解读完整解读
  19. 防御arXiv 2609.33640

    SafeMol：分子多模态模型的双模态安全对齐

    提出 SafeMol，联合对齐分子多模态模型的文本与图输入

    arXiv
    2609.33640
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-4o、Llama-3.2-1B-Instruct、Omni-Mol v2 等 5 个
    摘要SafeMol 用 MMD 和双分类头对齐分子多模态模型，在 Omni-Mol v2 上压低图条件攻击成功。

    SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐，并同时看过拒和任务效用。

    深度解读完整解读
已经到底了