跳到正文
10月13日 · 周二

全部论文

找到 240篇
筛选4

攻击类型

越狱8提示注入72投毒与后门31提取与窃取13检测规避12恶意使用5

攻击技术

梯度与表征优化13自动化搜索15编码与混淆7角色扮演与说服6对话结构操控3跨模态载荷8潜伏触发7

模型自身风险

欺骗与谋划11奖励作弊7失准与价值偏离11Agent 危险操作10幻觉与编造7偏见与歧视3

防御类型

模型加固4检测与过滤28指令与数据隔离14权限与审批15监控与审计5

影响

有害内容16越权操作31数据与隐私泄露27输出被操纵91可用性与可靠性10监督失效15

系统形态

模型与 API9LLM 应用127AI Agent598coding agent121science agent30web agent34网页与电脑操作18多智能体81具身与机器人17

攻击者权限

黑盒16

攻击面/入口

用户输入41网页与界面31文档与消息28工具返回11工具与技能描述5代码仓库与依赖3检索语料29记忆写入8Agent 间消息25图像与音视频11

层

提示层6模型层6应用层240训练与数据层3

系统组件

MCP 与技能8记忆15RAG44护栏与评审42监控器10推理链4权限与沙箱17视觉15音频3嵌入8多模态19
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 227篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：web agent系统形态：多智能体层：应用层清除全部

另有227篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.13710

    OpenSocialJax：在开放式环境动态的序贯社会困境中评测社会适应

    用 OpenSocialJax 评测多智能体在隐藏规则社会困境中的适应

    arXiv
    2610.13710
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-6-Luna、GPT-6-Sol、Claude Opus 5.5 等8个
    摘要作者报告规则发现常提高回报，但公共品清洁会集中，共享资源最终被耗尽。

    OpenSocialJax 评测 LLM 能否在序贯社会困境中同时适应不熟悉的环境机制和其他智能体。

    深度解读完整解读
  3. 其他arXiv 2610.13491

    EviRepair：面向可靠漏洞修复的证据驱动智能体

    提出证据驱动多智能体框架 EviRepair，用于仓库级漏洞修复

    arXiv
    2610.13491
    发表
    层
    应用层
    场景
    coding agent、多智能体
    被测模型
    DeepSeek-V4.1-Flash、GLM-5.2、Qwen3.8-27B
    摘要EviRepair 用审查后的漏洞模型做仓库级修复。

    EviRepair 是面向稀疏漏洞报告的仓库级自动漏洞修复框架，用审查后的漏洞模型把诊断和补丁合成隔开。

    深度解读完整解读
  4. 其他arXiv 2610.13479

    本地智能体 AI 框架为安全保证生成边缘案例场景

    提出本地双模型闭环，生成自主系统安全保障的边缘场景

    arXiv
    2610.13479
    发表
    层
    应用层
    场景
    LLM 应用、具身与机器人
    被测模型
    PPO
    摘要本地闭环生成 JSON 边缘场景。

    作者搭建了一个可在笔记本上运行的本地智能体闭环，用来为自主系统的安全论证生成边缘场景，而不是发布一个新的公开测试集。

    深度解读完整解读
  5. 风险行为arXiv 2610.12822

    奖励作弊作为多智能体编码系统中的可传播策略

    展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播

    arXiv
    2610.12822
    发表
    层
    应用层
    场景
    多智能体、coding agent
    被测模型
    Qwen2.5-Coder-14B、Gemma-3-12B、Qwen2.5-Coder-7B 等16个
    摘要作者称奖励黑客可跨模型传播并影响路由与聚合，审查能降低交付。

    编码 RL 诱发的奖励黑客可以离开源智能体，进入后续协作和系统协调。

    深度解读完整解读
  6. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  7. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等5个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  8. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等10个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  9. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等4个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  14. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  16. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等6个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  17. 防御arXiv 2610.09043

    CARE：安全高效的人机协作决策框架

    提出 CARE 框架，在误分类风险约束下减少人机协作的人工查询

    arXiv
    2610.09043
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-VL-2B-Instruct、Perspective、Moderation 等9个
    摘要CARE 以残差校正加逐步校准做人机决策，四个任务上少查询并控制集成风险。

    CARE 是面向人机协同二分类的端到端流水线，要在误分类风险不超过用户容忍的前提下减少人类查询。设定是 i.i.d.数据流、人类 oracle 标签正确、AI 为任意黑盒概率分类器。

    深度解读完整解读
加载更多