跳到正文
10月8日 · 周四

全部论文

找到 19 篇
筛选1

攻击类型

越狱10提示注入4投毒与后门2检测规避1恶意使用4

攻击技术

自动化搜索1多轮渐进2编码与混淆2角色扮演与说服1潜伏触发2诱导选用1

模型自身风险

欺骗与谋划2失准与价值偏离1Agent 危险操作1拒答失当2

防御类型

模型加固1推理时干预1检测与过滤2权限与审批1监控与审计2

影响

有害内容5越权操作9数据与隐私泄露2输出被操纵1可用性与可靠性1监督失效1

系统形态

模型与 API6AI Agent13编程 Agent4网页与电脑操作1多智能体2

攻击者权限

黑盒2白盒1无盒1

攻击面/入口

用户输入19网页与界面4文档与消息6工具返回9工具与技能描述8代码仓库与依赖7检索语料2记忆写入10Agent 间消息3图像与音视频5分发渠道3推理服务与硬件1

层

提示层4模型层2应用层13

系统组件

MCP 与技能1记忆2RAG1护栏与评审6监控器2推理链1权限与沙箱2微调与开源权重1视觉2多模态2

被测模型厂商

OpenAI16Qwen（阿里）15Anthropic11Google11DeepSeek10Meta10Kimi（月之暗面）8Mistral5其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 1049 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入清除全部

另有 1049 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv:2610.07359 ·

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    完整解读
  5. 评测与基准arXiv:2610.06748 ·

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测去中心化交易智能体的违规与失信

    多智能体测试GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个应用层
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    完整解读
  8. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  10. 评测与基准arXiv:2608.08542 ·

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    评测技能合并模型的自适应越狱鲁棒性，并提出子空间投影防御

    模型与 API攻击者白盒测试Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个模型层
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    完整解读
  11. 评测与基准arXiv:2609.05843 ·

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    模型与 API测试GPT-5.4 mini、GPT-5.5、DeepSeek V4 Flash 等 12 个提示层
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    完整解读
  13. 防御arXiv:2609.36562 ·

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    模型与 API测试ThinkingGuard（Qwen3-VL-8B-Instruct）、GPT-5.1、Claude-Sonnet-4-6 等 9 个提示层
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    完整解读
  14. 防御arXiv:2601.10156 ·

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

    AI Agent测试GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个应用层
    摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。

    完整解读
  15. 评测与基准arXiv:2609.06966 ·

    Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检

    多智能体测试GPT-5.3 Chat、GPT-5.5、GPT-4.1 等 15 个应用层
    摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    完整解读
  16. 评测与基准arXiv:2609.09798 ·

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    编程 Agent攻击者黑盒无盒测试CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    完整解读
  17. 评测与基准arXiv:2608.03070 ·

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    模型与 API测试Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个提示层
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    完整解读
  19. 评测与基准arXiv:2609.32616 ·

    Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作

    编程 Agent测试Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个应用层

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。

    完整解读
已经到底了