跳到正文
10月9日 · 周五

危险能力 · 论文

找到 6 篇
筛选4

攻击类型

恶意使用2

攻击技术

多轮渐进1

模型自身风险

Agent 危险操作2危险能力3

防御类型

模型加固1检测与过滤1权限与审批1

影响

有害内容1越权操作1数据与隐私泄露1输出被操纵2滥用能力提升4

系统形态

模型与 API4LLM 应用1AI Agent6编程 Agent4

攻击者权限

黑盒1

攻击面/入口

用户输入2

层

应用层5训练与数据层1

系统组件

护栏与评审1权限与沙箱1

被测模型厂商

OpenAI5Anthropic5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 29 篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：滥用能力提升系统形态：AI Agent系统形态：编程 Agent话题：危险能力清除全部

另有 29 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  3. 防御arXiv 2609.04159

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    提出 Sentinel-RL，将拓扑推理卸载到图策略并约束遏制动作

    arXiv
    2609.04159
    发表
    层
    应用层
    场景
    AI Agent
    测试
    HetGAT、PPO、4-bit quantized 8B model
    摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。

    Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

    深度解读完整解读
  5. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
已经到底了