跳到正文
10月8日 · 周四

红队 · 论文

找到 19 篇

另有 97 篇论文还没打上分类标签,暂不在筛选结果里。

  1. AgentHazard:评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准,评测计算机使用智能体的执行层有害行为

    发表
    测试
    Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全,作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准,重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  2. 评测与基准arXiv 2610.03153

    EvoRiskBench:面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench,评测工作区智能体的运行时安全风险

    发表
    测试
    DeepSeek-V4-Pro-0813、GPT-5.6 Sol、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench,发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  3. 评测与基准arXiv 2608.09476

    ActBench:面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    发表
    测试
    Kimi-K3、Kimi-K2.6、Deepseek-v4-Pro 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全,揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  4. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为,并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    发表
    场景
    AI Agent
    测试
    Kimi K3、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为,作者报告高阶描述结合算力可自动诱导,并展示了 RL 降本潜力。

    深度解读完整解读
  5. 评测与基准arXiv 2609.19892

    ClashBench:研究者发现 Agent 为抢占资源破坏既有任务

    提出 CLASHBENCH,评测特权智能体抢占资源并破坏既有任务

    发表
    测试
    DeepSeek-V4-Flash-0731、Claude-Sonnet-5、GLM-4.7 等 15 个

    摘要论文定义特权智能体的破坏性资源抢占风险,通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒,呼吁建立系统级防护。

    深度解读完整解读
  6. CS-Guard:首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击,评测代码生成护栏

    发表
    攻击者
    黑盒、无盒
    测试
    DeepSeekCoder-V2-Lite-16B、CodeLlama-13B-Instruct、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard,评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  7. 评测与基准arXiv 2609.27336

    CART:面向大语言模型的闭环自适应红队框架

    提出闭环自适应红队框架 CART,评测模型与工具 Agent 的风险面

    发表
    场景
    AI Agent
    测试
    Kimi K2.6、DeepSeek V4 Pro、Claude Opus 4.8 等 7 个
    摘要CART 把红队做成可审计的闭环搜索,在三类评测上比静态回放发现更多失败与更高平均风险。

    CART 把自动红队从一次清单式打分,改成带预算、可追溯的闭环搜索。

    深度解读完整解读
  8. 评测与基准arXiv 2609.32635

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    提出 TRUSTFORK,评测展示身份如何劫持多智能体编排的操作权限

    发表
    测试
    Kimi-K3、Kimi-K2.6、GPT-5.6-Sol 等 8 个

    摘要论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。

    深度解读完整解读
  9. 评测与基准arXiv 2609.30383

    研究者提出技能级联攻击

    提出技能级联攻击,把恶意目标拆进多个技能以绕过单技能检测

    发表
    测试
    Kimi K2.5、GPT-5.4、GPT-5.4 Mini 等 10 个

    摘要论文探讨了多技能智能体系统面临的技能级联攻击风险,提出自动化红队框架与基准集,指出跨技能交互存在安全防护盲区。

    深度解读完整解读
  10. 评测与基准arXiv 2609.35912

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    构建多模态技能图像攻击基准 MMSkillRisk 并设计 NCVA

    发表
    测试
    Kimi-K2.6、Kimi-K3、DeepSeek-V4.1-Flash 等 6 个

    摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    深度解读完整解读
已经到底了