跳到正文
10月8日 · 周四

全部论文

找到 48 篇
筛选1

攻击类型

越狱6提示注入8投毒与后门6检测规避1恶意使用2

攻击技术

自动化搜索1多轮渐进1编码与混淆3跨模态载荷2针对防御1潜伏触发3

模型自身风险

欺骗与谋划5奖励作弊1失准与价值偏离5Agent 危险操作4危险能力2拒答失当5幻觉与编造1

防御类型

模型加固3推理时干预1检测与过滤2权限与审批1监控与审计3

影响

有害内容6越权操作11数据与隐私泄露6输出被操纵11可用性与可靠性4监督失效5滥用能力提升1

系统形态

模型与 API16LLM 应用2AI Agent30编程 Agent7网页与电脑操作4多智能体2

攻击者权限

白盒1

攻击面/入口

用户输入11网页与界面3文档与消息4工具返回4工具与技能描述2检索语料2记忆写入4Agent 间消息1图像与音视频3分发渠道1推理服务与硬件1

层

提示层3模型层12应用层32训练与数据层1

系统组件

MCP 与技能2记忆7RAG4护栏与评审4监控器6权限与沙箱3微调与开源权重1视觉5音频1多模态5

被测模型厂商

OpenAI77Qwen（阿里）58Anthropic55Google48DeepSeek36Meta36智谱 GLM31Kimi（月之暗面）25xAI14Mistral13MiniMax10上海 AI 实验室5其他29
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 1049 篇还没打标签，不在筛选结果里。
被测模型厂商：Google清除全部

另有 1049 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试Gemini 3.6 Flash、Gemini 3.5 Flash-Lite、GPT-5.6 Sol 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  12. 评测与基准arXiv:2610.06522 ·

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    模型与 API测试gemini-3.1-pro、gemini-3.5-flash、gemini-3.1-flash-lite 等 11 个模型层
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    完整解读
  14. 评测与基准arXiv:2610.03938 ·

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    AI Agent测试Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Gemini-3-Flash 等 13 个应用层
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    完整解读
  18. 评测与基准arXiv:2610.00568 ·

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    模型与 API测试Gemma-3-12B、Gemma-3-27B、Llama-3.1-8B-Instruct 等 13 个模型层
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    完整解读
  20. 评测与基准arXiv:2608.08542 ·

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    评测技能合并模型的自适应越狱鲁棒性，并提出子空间投影防御

    模型与 API攻击者白盒测试Gemma-2-9B、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个模型层
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    完整解读
加载更多