跳到正文
10月9日 · 周五

危险能力 · 论文

找到 2 篇
筛选3

模型自身风险

Agent 危险操作2

防御类型

模型加固1检测与过滤1权限与审批1

影响

有害内容1越权操作1数据与隐私泄露1输出被操纵2滥用能力提升4

系统形态

模型与 API3LLM 应用2AI Agent2编程 Agent1

层

应用层1训练与数据层1

系统组件

护栏与评审1权限与沙箱1

被测模型厂商

其他2
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 28 篇还没打标签，不在筛选结果里。
影响：输出被操纵系统形态：AI Agent系统形态：编程 Agent话题：危险能力清除全部

另有 28 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  2. 防御arXiv 2609.04159

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    提出 Sentinel-RL，将拓扑推理卸载到图策略并约束遏制动作

    arXiv
    2609.04159
    发表
    层
    应用层
    场景
    AI Agent
    测试
    HetGAT、PPO、4-bit quantized 8B model
    摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。

    Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

    深度解读完整解读
已经到底了