跳到正文
10月12日 · 周一

全部论文

找到 151篇
筛选4

攻击类型

越狱4提示注入34投毒与后门24提取与窃取30检测规避4拒绝服务5恶意使用3

攻击技术

自动化搜索10编码与混淆3针对防御5潜伏触发13诱导选用4

模型自身风险

欺骗与谋划3Agent 危险操作14拒答失当4

防御类型

模型加固23检测与过滤6指令与数据隔离9权限与审批12监控与审计5

影响

有害内容81越权操作213数据与隐私泄露87输出被操纵195可用性与可靠性64监督失效83滥用能力提升17

系统形态

模型与 API35LLM 应用17AI Agent99coding agent24web agent10多智能体9具身与机器人6

攻击者权限

黑盒15灰盒3白盒4

攻击面/入口

用户输入35网页与界面9文档与消息10工具返回11工具与技能描述14代码仓库与依赖4记忆写入10Agent 间消息6图像与音视频7训练数据11权重与梯度12分发渠道12

层

提示层21模型层44应用层111训练与数据层40基础设施层11

系统组件

MCP 与技能22记忆16RAG11护栏与评审8监控器7推理链3权限与沙箱12微调与开源权重8视觉9音频4嵌入3多模态13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 240篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性层：应用层层：训练与数据层清除全部

另有240篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.12602

    语言模型中的自我保存

    提出 Task Bank 自回放，缓解持续指令微调的留出遗忘

    arXiv
    2610.12602
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等4个
    摘要作者称自回放可在清单外减遗忘，4B 上新任务信息有助于选目标，小模型则无。

    作者研究语言模型学习新任务时，如何用自身知识做更广的自我保持：给定清单不完整，遗忘又会超出清单，模型能否生成回放并帮忙选择目标。

    深度解读完整解读
  3. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  4. 评测与基准arXiv 2610.11647

    技能过多：编码Agent中共同安装的技能如何冲突

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    arXiv
    2610.11647
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    claude-sonnet-4-6、claude-haiku-4-5-20251001、claude-opus-5 等6个
    摘要冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究，用核心功能是否还在，而不是任务过不过，来看冲突。。

    深度解读完整解读
  5. 评测与基准arXiv 2610.11561

    Workerville：迈向 Agent 安全的组织行为学解释

    构建 Workerville 基准，测量组织条件如何改变 Agent 的安全行为

    arXiv
    2610.11561
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.2、Claude-Sonnet-4.6、Gemini-3.1-Pro 等6个
    摘要作者用 ACB 与 Workerville 测量组织条件对智能体安全的影响，并称结果支持可量化的组织行为框架。

    Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是：持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆，但既有安全评测多把这些通道拆开，没有统一的定量测量。

    深度解读完整解读
  6. 攻击arXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
    摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    深度解读完整解读
  7. 防御arXiv 2610.10833

    研究：Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    arXiv
    2610.10833
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
    摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

    深度解读完整解读
  8. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等6个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  9. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  11. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  13. 评测与基准arXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus-5、Sonnet-5、Sonnet-4.6 等8个
    摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    深度解读完整解读
  14. 分析与理论arXiv 2610.08577

    学习方式如何影响遗忘：记忆与泛化谱系下的机器遗忘研究

    分析记忆与泛化如何决定机器遗忘的 retain 损伤

    arXiv
    2610.08577
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    one-layer ReLU transformer、one-layer transformer (BMA, width doubled)、Hubble-8B-100B perturbed 等6个
    摘要作者称共享规则占比越高，遗忘带来的 retain damage 越大。

    作者考察学习方式如何左右 unlearning 的 retain damage：训练越依赖跨样本共享的解法，在匹配的遗忘程度上，retain 上的损失越大。

    深度解读完整解读
  17. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  18. 评测与基准arXiv 2610.07309

    论文提出长期记忆智能体的检索可允许性验证框架

    提出检索可采纳性核验框架，评测记忆智能体的记录资格与披露

    arXiv
    2610.07309
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Luna 等7个
    摘要作者用三值可采纳性和匹配召回界审计长时记忆检索，并分开报告支持、资格与披露。

    这是一套长时记忆检索的可采纳性核验协议，用来分开检查候选支持、资格、提示词暴露和答案披露，而不是提出新的检索算法。。

    深度解读完整解读
  19. 防御arXiv 2610.07258

    AMU：用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    arXiv
    2610.07258
    发表
    层
    应用层
    场景
    AI Agent
    摘要在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。

    深度解读完整解读
  20. 防御arXiv 2610.06636

    差分隐私混合公共数据集提升隐私学习效果

    提出 DP-MixMin，私有学习公开数据混合并做差分隐私微调

    arXiv
    2610.06636
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    ResNet-18、GPT-2 Medium
    摘要DP-MixMin 私下学公开混合再 DP 微调，胸片 macro AUC 与邮件困惑度优于均匀混合。

    DP-MixMin 是一条端到端的差分隐私训练流程：先私下决定多个公开数据集的预训练混合，再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。

    深度解读完整解读
加载更多