跳到正文
10月9日 · 周五

全部论文

找到 64 篇

另有 429 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱:GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱,在 IDE 编程 Agent 多轮流程中诱导生成有害代码

    发表
    攻击者
    黑盒

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码,呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  2. 攻击arXiv 2608.05563

    研究者提出 PoisonedEvolution 轨迹投毒攻击

    提出 PoisonedEvolution 轨迹投毒,诱导自演化技能系统把恶意行为固化为技能

    发表
    场景
    AI Agent
    摘要论文揭示自演化技能系统的证据晋升漏洞,提出并验证轨迹投毒攻击。

    这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。

    深度解读完整解读
  3. 攻击arXiv 2610.07645

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    提出 SkillPoison,用局部有效的成功经验投毒自进化智能体的技能形成

    发表
    场景
    AI Agent
    摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化,在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式,通过组织已验证的成功经验诱导技能过度泛化。

    深度解读完整解读
  4. 防御arXiv 2610.04699

    CoVer:用干预检验为 Agent 构造可判定规则边界

    提出 COVER,以不咨询模型的干预门准入 Agent 规则自动执行

    发表
    场景
    AI Agent
    摘要自可判定不能向模型索取。

    这篇工作测的是智能体验证器在检查之前的分流:外部规则里的哪条谓词能用固定过程解决,哪条必须交给评审。

    深度解读完整解读
  5. 评测与基准arXiv 2610.06748

    BazaarBench:评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    发表
    摘要论文提出挂钩底层资产的 C2C 交易评测基准,发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  6. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门,使模型在推断多智能体部署时向代码插入隐蔽漏洞

    发表

    摘要论文证实了拓扑条件后门的可训练性与泛化性,展示了常规评测盲区,并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  7. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    发表
    场景
    AI Agent
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象,分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响,指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于:当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具(打标、缩放、OCR、代码执行)时,工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  8. 风险行为arXiv 2610.01490

    论文研究常驻 AI Agent 的人格回退:系统提示锚定丢失后 Agent 改以底层框架身份说话

    测量常驻 Agent 失去系统提示锚定后的人格身份回退

    发表
    场景
    AI Agent
    摘要人设可留在历史中,但第一人称会在锚丢失后回到 harness。

    人设可以仍在对话历史里,却不再是持续智能体用来自称的“我”。作者要确定的是,多个身份都被表征时,什么把其中一个绑到第一人称。

    深度解读完整解读
  9. 风险行为arXiv 2610.03033

    研究:LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    发表
    摘要受指令数值会形成锚定收益的结构并影响接收方,但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时,消息结构可以跨模型出现,合作水平的变化则不能跨模型外推。

    深度解读完整解读