跳到正文
10月9日 · 周五

全部论文

找到 428 篇
筛选5

攻击类型

越狱23提示注入135投毒与后门62提取与窃取4检测规避8恶意使用8

攻击技术

自动化搜索33多轮渐进6编码与混淆7跨模态载荷4针对防御16潜伏触发26诱导选用8

模型自身风险

欺骗与谋划27奖励作弊25失准与价值偏离16Agent 危险操作55危险能力15拒答失当5幻觉与编造6

防御类型

模型加固19检测与过滤21指令与数据隔离36权限与审批51监控与审计29

影响

有害内容11越权操作147数据与隐私泄露40输出被操纵56可用性与可靠性27监督失效44滥用能力提升9

系统形态

模型与 API170LLM 应用70AI Agent428coding agent88science agent19web agent15网页与电脑操作13多智能体53具身与机器人19

攻击者权限

黑盒15

攻击面/入口

用户输入63网页与界面35文档与消息43工具返回73工具与技能描述48代码仓库与依赖18检索语料7记忆写入26Agent 间消息18图像与音视频7训练数据4权重与梯度7分发渠道33

层

提示层5模型层20应用层407训练与数据层21

系统组件

MCP 与技能62记忆48RAG6护栏与评审25监控器47推理链9权限与沙箱72微调与开源权重6视觉10多模态11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 440 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：web agent系统形态：网页与电脑操作层：应用层层：训练与数据层清除全部

另有 440 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 其他arXiv 2610.10064

    研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险

    提出 comprehension audits，以人类理解证据作为继续研发门槛

    arXiv
    2610.10064
    发表
    层
    训练与数据层
    场景
    science agent
    摘要理解审计把出示人类理解设为继续研发的门禁，并报告开源评审评论率下降。

    本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。

    深度解读完整解读
  4. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  6. 攻击arXiv 2610.10612

    PyCache Trap 利用 Python 缓存替换绕过七款 Agent Skill 扫描器

    提出 PyCache Trap，用字节码缓存替换绕过 Agent 技能扫描器

    arXiv
    2610.10612
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    CISCO、HSS、AUDITOR 等 8 个
    摘要论文剖析智能体技能审查与执行脱节盲区，提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。

    这篇论文研究了智能体技能（Agent Skills）安全扫描中的“审查–执行脱节”问题，并提出了对应的攻击验证与防御方案。

    深度解读完整解读
  8. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  11. 防御arXiv 2610.08761

    VeriFine：通过扩展验证实现具身推理的自我改进

    提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进

    arXiv
    2610.08761
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
    摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。

    VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

    深度解读完整解读
  13. 防御arXiv 2610.08082

    POLAR：面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控，在执行前否决不可逆工具调用

    arXiv
    2610.08082
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等 6 个
    摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。

    POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。

    深度解读完整解读
  15. 评测与基准arXiv 2610.07967

    DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗

    arXiv
    2610.07967
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
    摘要DECEPEVAL 用配对诱导比较智能体欺骗。

    DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。

    深度解读完整解读
  16. 防御arXiv 2610.07935

    SIGMA：让模型依据 Model Spec 自我改进安全对齐

    提出 SIGMA，让模型依据 Model Spec 自造对齐数据并改进安全对齐

    arXiv
    2610.07935
    发表
    层
    训练与数据层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B
    摘要SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。

    SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。

    深度解读完整解读
  18. 攻击arXiv 2610.07645

    SkillPoison：用成功经验投毒自进化 Agent 的技能形成

    提出 SkillPoison，用局部有效的成功经验诱导自进化 Agent 形成过度泛化技能

    arXiv
    2610.07645
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
    摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。

    深度解读完整解读
加载更多