跳到正文
10月12日 · 周一

全部论文

找到 152篇
筛选4

攻击类型

越狱5提示注入34投毒与后门16提取与窃取39拒绝服务5恶意使用4

攻击技术

梯度与表征优化3自动化搜索12编码与混淆3针对防御4潜伏触发9诱导选用4

模型自身风险

欺骗与谋划3Agent 危险操作11拒答失当9偏见与歧视4

防御类型

模型加固7推理时干预9检测与过滤5指令与数据隔离9权限与审批12监控与审计5

影响

有害内容108越权操作210数据与隐私泄露94输出被操纵234可用性与可靠性58监督失效87滥用能力提升16

系统形态

模型与 API39LLM 应用17AI Agent96coding agent23web agent10多智能体9具身与机器人5

攻击者权限

黑盒19灰盒4白盒4

攻击面/入口

用户输入45网页与界面9文档与消息10工具返回11工具与技能描述14代码仓库与依赖4检索语料3记忆写入10Agent 间消息6图像与音视频7权重与梯度5分发渠道10

层

提示层21模型层43应用层109训练与数据层40基础设施层10

系统组件

MCP 与技能21记忆15RAG11护栏与评审8监控器7推理链5权限与沙箱12视觉7音频5图像生成3嵌入5多模态15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 255篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性层：模型层层：应用层清除全部

另有255篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.12758

    DistressBench：评估大语言模型的多维度危机支持

    提出 DistressBench，评测模型在危机对话中的多维支持

    arXiv
    2610.12758
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Muse Spark 1.2、Muse Spark 1.3、Muse Glimmer 30B 等20个
    摘要模型更会克制而较少行动。

    DistressBench 用临床人员撰写并修订的 SSH 对话，按加权原子标准评通用聊天模型送达了多少必要照护，而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时，作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。

    深度解读完整解读
  3. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  4. 攻击arXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
    摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    深度解读完整解读
  5. 防御arXiv 2610.10833

    研究：Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    arXiv
    2610.10833
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
    摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

    深度解读完整解读
  7. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等8个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  8. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等6个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  9. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  11. 其他arXiv 2610.08917

    CARE：为视觉-语言-动作模型推理加速提供认证式选择

    提出 CARE，离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选

    arXiv
    2610.08917
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    OpenVLA-OFT、π0.5、π0 等5个
    摘要CARE 以配对回合认证加速诱发失败，在预算内选最快候选，不足则保留参考。

    CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。

    深度解读完整解读
  13. 评测与基准arXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus-5、Sonnet-5、Sonnet-4.6 等8个
    摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    深度解读完整解读
  16. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  17. 评测与基准arXiv 2610.07309

    论文提出长期记忆智能体的检索可允许性验证框架

    提出检索可采纳性核验框架，评测记忆智能体的记录资格与披露

    arXiv
    2610.07309
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Luna 等7个
    摘要作者用三值可采纳性和匹配召回界审计长时记忆检索，并分开报告支持、资格与披露。

    这是一套长时记忆检索的可采纳性核验协议，用来分开检查候选支持、资格、提示词暴露和答案披露，而不是提出新的检索算法。。

    深度解读完整解读
  18. 防御arXiv 2610.07258

    AMU：用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    arXiv
    2610.07258
    发表
    层
    应用层
    场景
    AI Agent
    摘要在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。

    深度解读完整解读
  19. 其他arXiv 2610.06563

    HERA 提出 harness 与环境协同演化

    提出 HERA，协同演化 harness 与环境以提升 Agent 拒答准确性

    arXiv
    2610.06563
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6-Luna、GPT-5.6-Terra、GPT-5.6-Sol 等20个
    摘要HERA 用失败协同演化 harness 与环境，并在迁移评测中提高 Abstain。

    HERA 在模型权重固定时，让 harness 与可执行环境按失败协同演化，以改进 agentic abstention。

    深度解读完整解读
加载更多