跳到正文
10月12日 · 周一

全部论文

找到 426篇
筛选4

攻击类型

越狱22提示注入209投毒与后门95提取与窃取15检测规避16恶意使用7

攻击技术

梯度与表征优化12自动化搜索53多轮渐进4编码与混淆19角色扮演与说服8对话结构操控5推理链操控3跨模态载荷10针对防御17潜伏触发33诱导选用11

模型自身风险

欺骗与谋划9奖励作弊5失准与价值偏离16Agent 危险操作67幻觉与编造11

防御类型

模型加固11推理时干预5检测与过滤44指令与数据隔离49权限与审批63监控与审计28水印与溯源3

影响

有害内容30越权操作208数据与隐私泄露68输出被操纵150可用性与可靠性43监督失效53滥用能力提升15

系统形态

LLM 应用76AI Agent351coding agent63science agent9web agent27网页与电脑操作13多智能体46具身与机器人6

攻击者权限

黑盒24灰盒3白盒3

攻击面/入口

用户输入91网页与界面63文档与消息74工具返回94工具与技能描述55代码仓库与依赖23检索语料34记忆写入37Agent 间消息24图像与音视频15权重与梯度3分发渠道39

层

提示层72模型层116应用层426训练与数据层69基础设施层13

系统组件

MCP 与技能63记忆60RAG37护栏与评审45监控器32推理链8权限与沙箱77微调与开源权重3视觉21音频4嵌入8多模态24
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 240篇还没打标签，不在筛选结果里。
影响：越权操作影响：数据与隐私泄露影响：输出被操纵层：应用层清除全部

另有240篇论文还没打上分类标签，暂不在筛选结果里。

  5. 评测与基准arXiv 2610.12360

    论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    arXiv
    2610.12360
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等5个
    摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。

    作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。

    深度解读完整解读
  6. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等5个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  8. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等10个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  9. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  10. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等4个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  11. 评测与基准arXiv 2610.11561

    Workerville：迈向 Agent 安全的组织行为学解释

    构建 Workerville 基准，测量组织条件如何改变 Agent 的安全行为

    arXiv
    2610.11561
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.2、Claude-Sonnet-4.6、Gemini-3.1-Pro 等6个
    摘要作者用 ACB 与 Workerville 测量组织条件对智能体安全的影响，并称结果支持可量化的组织行为框架。

    Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是：持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆，但既有安全评测多把这些通道拆开，没有统一的定量测量。

    深度解读完整解读
  12. 评测与基准arXiv 2610.11514

    SSCBench：评估工具调用 LLM Agent 故障注入测试证据有效性的测量协议与基准

    提出 SSCBench，评测工具调用 Agent 故障注入测试的证据有效性

    arXiv
    2610.11514
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    deepseek-flash、deepseek-v4-pro、gpt-5.6-luna 等5个
    摘要解释采纳前应报告该次执行的证据条件，以及支撑该主张的观察总体。

    SSCBench 研究工具使用智能体的故障注入结果，在什么证据条件下可以被解释。

    深度解读完整解读
  13. 攻击arXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
    摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    深度解读完整解读
  16. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  17. 评测与基准arXiv 2610.09581

    研究审计 LLM 读取 Agent 日志的取证能力：答案正确但引用来源多为猜测

    评测 LLM 审计 Agent 日志时来源重建是否有证据支持

    arXiv
    2610.09581
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    gpt-5.6-luna、claude-sonnet-4-6、gpt-5.4-mini-2026-03-17 等5个
    摘要保存执行范围的标识绑定，才能把猜中的引用和证据支持的引用分开。

    包级审计检查保存的智能体动作里，哪些来源结论能被交给分析者的记录支持。

    深度解读完整解读
  18. 攻击arXiv 2610.10612

    PyCache Trap 利用 Python 缓存替换绕过七款 Agent Skill 扫描器

    提出 PyCache Trap，用字节码缓存替换绕过 Agent 技能扫描器

    arXiv
    2610.10612
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    CISCO、HSS、AUDITOR 等8个
    摘要论文剖析智能体技能审查与执行脱节盲区，提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。

    这篇论文研究了智能体技能（Agent Skills）安全扫描中的“审查–执行脱节”问题，并提出了对应的攻击验证与防御方案。

    深度解读完整解读
  19. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
加载更多