跳到正文
10月10日 · 周六

全部论文

找到 723 篇
筛选2

攻击类型

越狱122提示注入182投毒与后门78提取与窃取18检测规避36拒绝服务5恶意使用13

攻击技术

梯度与表征优化27自动化搜索76多轮渐进20编码与混淆34角色扮演与说服17对话结构操控10推理链操控9跨模态载荷32针对防御26潜伏触发28诱导选用10

模型自身风险

欺骗与谋划28奖励作弊24失准与价值偏离20Agent 危险操作64危险能力17拒答失当9幻觉与编造12

防御类型

模型加固16推理时干预4检测与过滤63指令与数据隔离45权限与审批58监控与审计35水印与溯源4

影响

有害内容111越权操作164数据与隐私泄露64输出被操纵141可用性与可靠性37监督失效53滥用能力提升12

系统形态

模型与 API149LLM 应用98AI Agent481coding agent101science agent20web agent21网页与电脑操作15多智能体63具身与机器人14

攻击者权限

黑盒89灰盒6白盒18

攻击面/入口

用户输入198网页与界面49文档与消息59工具返回88工具与技能描述52代码仓库与依赖24检索语料23记忆写入32Agent 间消息22图像与音视频55训练数据5权重与梯度5分发渠道35

层

提示层152模型层368应用层571训练与数据层203基础设施层18

系统组件

MCP 与技能67记忆60RAG32护栏与评审103监控器55推理链19权限与沙箱80微调与开源权重5视觉49音频11视频4图像生成12嵌入4多模态73
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 224 篇还没打标签，不在筛选结果里。
层：提示层层：应用层清除全部

另有 224 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  4. 评测与基准arXiv 2610.12360

    论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    arXiv
    2610.12360
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等 5 个
    摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。

    作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。

    深度解读完整解读
  5. 分析与理论arXiv 2610.12313

    研究测试五个大模型合规系统对监管规则扰动的敏感度

    诊断合规系统裁决是否随监管规则扰动而改变

    arXiv
    2610.12313
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 等 5 个
    摘要五模型上许多正确裁决对删换否定规则大体不变。

    用行为反事实和激活探针，审计合规裁决是否依赖所给规则。。作者要分开两种看起来一样的正确裁决：用了所给规则的，以及靠案例表面或训练模式得到的。

    深度解读完整解读
  6. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等 5 个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  8. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等 10 个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  9. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等 17 个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  10. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等 6 个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  11. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  12. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  15. 评测与基准arXiv 2610.11112

    EpiReal-Bench：商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据

    arXiv
    2610.11112
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
    摘要四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    深度解读完整解读
  19. 评测与基准arXiv 2610.10150

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    用对照实验隔离评测设计对漏洞补丁基准得分的影响

    arXiv
    2610.10150
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
    摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。

    作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。

    深度解读完整解读
  20. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等 6 个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
加载更多