跳到正文
10月8日 · 周四

全部论文

找到 37 篇
筛选3

攻击类型

越狱6提示注入6投毒与后门4恶意使用4

攻击技术

自动化搜索1编码与混淆2跨模态载荷1针对防御1潜伏触发1诱导选用2

模型自身风险

欺骗与谋划1奖励作弊1失准与价值偏离4Agent 危险操作5危险能力3拒答失当2幻觉与编造2

防御类型

检测与过滤1指令与数据隔离1权限与审批2监控与审计1

影响

有害内容4越权操作12数据与隐私泄露2输出被操纵6可用性与可靠性2监督失效3滥用能力提升1

系统形态

模型与 API7AI Agent30编程 Agent9网页与电脑操作5多智能体3

攻击者权限

黑盒1

攻击面/入口

用户输入12网页与界面1工具返回3工具与技能描述3代码仓库与依赖3记忆写入3Agent 间消息1图像与音视频1分发渠道2

层

提示层3模型层4应用层30

系统组件

MCP 与技能4记忆4RAG1护栏与评审1监控器1权限与沙箱3视觉3多模态3

被测模型厂商

OpenAI113Qwen（阿里）94Google79Anthropic76DeepSeek57Meta54智谱 GLM48Kimi（月之暗面）37xAI20Mistral17MiniMax14上海 AI 实验室6其他59
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent被测模型厂商：Kimi（月之暗面）清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi-K2.5、Kimi-K2.6、Gemini-2.5-Pro 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  5. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  6. 评测与基准arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi-K2.6、GPT-5.5、DeepSeek-V4-Pro 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  8. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Kimi-K3、Kimi-K2.6、Claude-Opus-4.8 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  10. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K3、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  12. 评测与基准arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi-K2.6、GPT-5.5、Grok-4 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
  13. 评测与基准arXiv 2609.32763

    Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像

    构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像

    arXiv
    2609.32763
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Kimi-K3、Kimi-K2.6、Gemini-3.8-Flash 等 15 个
    摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。

    该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。

    深度解读完整解读
  15. 评测与基准arXiv 2609.35596

    SEABench：评测自演化智能体的内生失配

    提出 SEABench，评测无参数自进化智能体的内生失配

    arXiv
    2609.35596
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K2.5、Grok 4.3、GPT 5.6 Luna 等 4 个
    摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。

    深度解读完整解读
  16. 评测与基准arXiv 2609.39863

    FIGS：在不惩罚共情的前提下评测多轮谄媚

    提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情

    arXiv
    2609.39863
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Kimi K3、DeepSeek V4.1 Flash、Gemini 3.8 Flash 等 8 个
    摘要FIGS 把守事实和恰当共情分开计分，事实向提示会换来更冷的失败。

    FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

    深度解读完整解读
  18. 评测与基准arXiv 2609.06966

    Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检

    arXiv
    2609.06966
    发表
    层
    应用层
    场景
    多智能体
    测试
    Kimi-K2.6、GPT-5.3 Chat、GPT-5.5 等 15 个
    摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    深度解读完整解读
  19. 评测与基准arXiv 2609.27336

    CART：面向大语言模型的闭环自适应红队框架

    提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面

    arXiv
    2609.27336
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K2.6、Claude Opus 4.8、GPT-5.5 等 7 个
    摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。

    CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。

    深度解读完整解读
加载更多