跳到正文
10月8日 · 周四

红队 · 论文

找到 9 篇

另有 97 篇论文还没打上分类标签,暂不在筛选结果里。

  1. MMPIBench:多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    发表
    场景
    AI Agent
    测试
    Gemini 3.1 Pro、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响,发现模型主导行为、尝试远超完成,音频通道缺乏防护。

    深度解读完整解读
  2. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为,并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    发表
    场景
    AI Agent
    测试
    Gemini 3.8 Flash、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为,作者报告高阶描述结合算力可自动诱导,并展示了 RL 降本潜力。

    深度解读完整解读
  3. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词:条件触发的间接提示注入可绕过九款生产 Agent

    提出爆炸提示词,用条件触发的间接注入延迟诱发恶意工具调用

    发表
    场景
    AI Agent
    测试
    Gemini-2.5-flash、Google Gemini CLI、Llama-3.1-8B-Instruct 等 14 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具,提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁,研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  4. 攻击arXiv 2609.30383

    研究者提出技能级联攻击

    提出技能级联攻击,把恶意目标拆进多个技能以绕过单技能检测

    发表
    测试
    Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-5.4 等 10 个

    摘要论文探讨了多技能智能体系统面临的技能级联攻击风险,提出自动化红队框架与基准集,指出跨技能交互存在安全防护盲区。

    深度解读完整解读
  5. 攻击arXiv 2609.33628

    用课程强化学习对前沿模型做提示注入红队测试

    提出跨目标课程强化学习,生成间接提示注入以劫持智能体

    发表
    场景
    AI Agent
    测试
    Gemini-3.6-flash、Qwen3-4B-Instruct-2507、GPT-4o-mini 等 14 个
    摘要提出跨目标模型课程强化学习,攻破前沿模型冷启动瓶颈并实现跨模型迁移。

    该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题,提出了一种基于目标模型鲁棒性递进的课程强化学习方法。

    深度解读完整解读
  6. 防御arXiv 2609.34518

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    提出工具智能体的状态攻击 DART 与预执行防御 SAGE

    发表
    场景
    AI Agent
    测试
    Gemini 3.8 Flash、gemini-3-flash、GPT-5.6 Luna 等 8 个

    摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE,实验显示执行反馈与环境探测在攻防交互中具有关键作用。

    深度解读完整解读
已经到底了