跳到正文
10月8日 · 周四

全部论文

找到 36 篇
筛选1

攻击类型

越狱7提示注入8投毒与后门3恶意使用2

攻击技术

多轮渐进2编码与混淆2角色扮演与说服1跨模态载荷1潜伏触发2

模型自身风险

欺骗与谋划3奖励作弊1失准与价值偏离1Agent 危险操作2危险能力2拒答失当4偏见与歧视1

防御类型

模型加固3推理时干预1检测与过滤4指令与数据隔离1权限与审批2监控与审计3

影响

有害内容4越权操作10数据与隐私泄露4输出被操纵7可用性与可靠性5监督失效4滥用能力提升1

系统形态

模型与 API12LLM 应用4AI Agent20编程 Agent4网页与电脑操作3

攻击者权限

黑盒1白盒1无盒1

攻击面/入口

用户输入10网页与界面2文档与消息4工具返回5工具与技能描述2代码仓库与依赖1检索语料1记忆写入2图像与音视频2分发渠道1推理服务与硬件1

层

提示层2模型层9应用层24训练与数据层1

系统组件

MCP 与技能2记忆2RAG3护栏与评审7监控器5推理链1权限与沙箱4微调与开源权重1视觉3音频1多模态3

被测模型厂商

OpenAI77Qwen（阿里）58Anthropic55Google48DeepSeek36Meta36智谱 GLM31Kimi（月之暗面）25xAI14Mistral13MiniMax10上海 AI 实验室5其他29
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 1049 篇还没打标签，不在筛选结果里。
被测模型厂商：Meta清除全部

另有 1049 篇论文还没打上分类标签，暂不在筛选结果里。

  9. 评测与基准arXiv:2610.04575 ·

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    AI Agent测试Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个应用层
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    完整解读
  12. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  14. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  15. 评测与基准arXiv:2610.00568 ·

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    模型与 API测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个模型层
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    完整解读
  17. 评测与基准arXiv:2608.08542 ·

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    评测技能合并模型的自适应越狱鲁棒性，并提出子空间投影防御

    模型与 API攻击者白盒测试Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个模型层
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    完整解读
  18. 评测与基准arXiv:2608.11816 ·

    研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍

    审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为

    模型与 API测试Llama-3.2-11B-Vision、Qwen2-VL-7B、Qwen2.5-VL-7B 等 9 个模型层
    摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。

    论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。

    完整解读
加载更多