跳到正文
10月12日 · 周一

全部论文

找到 164篇
筛选4

攻击类型

越狱4提示注入38投毒与后门16提取与窃取14检测规避3拒绝服务5恶意使用7

攻击技术

自动化搜索10编码与混淆4针对防御3潜伏触发9诱导选用4

模型自身风险

欺骗与谋划25奖励作弊22Agent 危险操作15拒答失当3

防御类型

模型加固5检测与过滤7指令与数据隔离10权限与审批16监控与审计18

影响

有害内容30越权操作209数据与隐私泄露68输出被操纵152可用性与可靠性43监督失效53滥用能力提升15

系统形态

LLM 应用22AI Agent142coding agent39science agent5web agent11多智能体18

攻击者权限

黑盒13

攻击面/入口

用户输入30网页与界面10文档与消息12工具返回14工具与技能描述15代码仓库与依赖8记忆写入10Agent 间消息8图像与音视频4分发渠道10

层

提示层27模型层78应用层164训练与数据层70基础设施层12

系统组件

MCP 与技能24记忆18RAG12护栏与评审14监控器29推理链3权限与沙箱19视觉6嵌入3多模态7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 233篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性影响：监督失效层：应用层清除全部

另有233篇论文还没打上分类标签，暂不在筛选结果里。

  2. 风险行为arXiv 2610.12822

    奖励作弊作为多智能体编码系统中的可传播策略

    展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播

    arXiv
    2610.12822
    发表
    层
    应用层
    场景
    多智能体、coding agent
    被测模型
    Qwen2.5-Coder-14B、Gemma-3-12B、Qwen2.5-Coder-7B 等16个
    摘要作者称奖励黑客可跨模型传播并影响路由与聚合，审查能降低交付。

    编码 RL 诱发的奖励黑客可以离开源智能体，进入后续协作和系统协调。

    深度解读完整解读
  4. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  5. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等18个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  6. 评测与基准arXiv 2610.11647

    多装一个技能：编码 Agent 中共同安装的技能如何发生冲突

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    arXiv
    2610.11647
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    claude-sonnet-4-6、claude-haiku-4-5-20251001、claude-opus-5 等6个
    摘要冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究，用核心功能是否还在，而不是任务过不过，来看冲突。。

    深度解读完整解读
  7. 评测与基准arXiv 2610.11561

    Workerville：迈向 Agent 安全的组织行为学解释

    构建 Workerville 基准，测量组织条件如何改变 Agent 的安全行为

    arXiv
    2610.11561
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.2、Claude-Sonnet-4.6、Gemini-3.1-Pro 等6个
    摘要作者用 ACB 与 Workerville 测量组织条件对智能体安全的影响，并称结果支持可量化的组织行为框架。

    Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是：持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆，但既有安全评测多把这些通道拆开，没有统一的定量测量。

    深度解读完整解读
  9. 攻击arXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
    摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    深度解读完整解读
  10. 防御arXiv 2610.10833

    研究：Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    arXiv
    2610.10833
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
    摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

    深度解读完整解读
  11. 评测与基准arXiv 2610.10150

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    用对照实验隔离评测设计对漏洞补丁基准得分的影响

    arXiv
    2610.10150
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
    摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。

    作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。

    深度解读完整解读
  12. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等6个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  13. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  18. 评测与基准arXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus-5、Sonnet-5、Sonnet-4.6 等8个
    摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    深度解读完整解读
  19. 评测与基准arXiv 2610.07967

    DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗

    arXiv
    2610.07967
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等9个
    摘要DECEPEVAL 用配对诱导比较智能体欺骗。

    DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。

    深度解读完整解读
加载更多