跳到正文
10月13日 · 周二

全部论文

找到 454篇
筛选3

攻击类型

越狱23提示注入164投毒与后门75提取与窃取72检测规避11拒绝服务10恶意使用9

攻击技术

梯度与表征优化7自动化搜索47多轮渐进6编码与混淆14角色扮演与说服4对话结构操控3推理链操控5跨模态载荷9侧信道4针对防御16潜伏触发28诱导选用7

模型自身风险

欺骗与谋划4奖励作弊4失准与价值偏离10Agent 危险操作72拒答失当12偏见与歧视4

防御类型

模型加固35推理时干预15检测与过滤31指令与数据隔离43权限与审批60监控与审计25

影响

有害内容326越权操作222数据与隐私泄露138输出被操纵347可用性与可靠性94监督失效125滥用能力提升20

系统形态

模型与 API103LLM 应用24AI Agent328coding agent68science agent4web agent26网页与电脑操作11多智能体22具身与机器人24

攻击者权限

黑盒39灰盒7白盒9

攻击面/入口

用户输入115网页与界面53文档与消息50工具返回81工具与技能描述54代码仓库与依赖20检索语料10记忆写入33Agent 间消息14图像与音视频23训练数据15权重与梯度21分发渠道39推理服务与硬件10

层

提示层23模型层49应用层326训练与数据层45基础设施层11

系统组件

MCP 与技能65记忆44RAG15护栏与评审34监控器31推理链14权限与沙箱70微调与开源权重14视觉25音频9视频3图像生成5嵌入5多模态40
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 215篇还没打标签，不在筛选结果里。
影响：越权操作影响：数据与隐私泄露影响：可用性与可靠性清除全部

另有215篇论文还没打上分类标签，暂不在筛选结果里。

  4. 评测与基准arXiv 2610.12758

    DistressBench：评估大语言模型的多维度危机支持

    提出 DistressBench，评测模型在危机对话中的多维支持

    arXiv
    2610.12758
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Muse Spark 1.2、Muse Spark 1.3、Muse Glimmer 30B 等20个
    摘要模型更会克制而较少行动。

    DistressBench 用临床人员撰写并修订的 SSH 对话，按加权原子标准评通用聊天模型送达了多少必要照护，而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时，作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。

    深度解读完整解读
  5. 其他arXiv 2610.12756

    硬件位翻转如何影响 LLM 智能体：安全与对齐行为可变

    测量随机权重位翻转对 LLM 智能体安全与对齐行为的影响

    arXiv
    2610.12756
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3.8-27B、Granite4.1-30B
    摘要两位权重故障在闭环中可被部分修复，但会提高输出 token，并在特定模型与场景中改变安全或对齐行为。

    随机两位权重故障进入 LLM 智能体后，模型级损坏会变成可恢复、成本上升、微妙语义错误，以及安全或对齐行为变化。。

    深度解读完整解读
  6. 防御arXiv 2610.12602

    语言模型中的自我保存

    提出 Task Bank 自回放，缓解持续指令微调的留出遗忘

    arXiv
    2610.12602
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等4个
    摘要作者称自回放可在清单外减遗忘，4B 上新任务信息有助于选目标，小模型则无。

    作者研究语言模型学习新任务时，如何用自身知识做更广的自我保持：给定清单不完整，遗忘又会超出清单，模型能否生成回放并帮忙选择目标。

    深度解读完整解读
  8. 防御arXiv 2610.12432

    FAITH：面向高维系统的可行性感知安全过滤强化学习框架

    提出 FAITH 安全过滤强化学习框架，训练高维系统在约束下优化任务回报

    arXiv
    2610.12432
    发表
    层
    训练与数据层
    场景
    具身与机器人
    摘要FAITH 分开安全过滤与回报优化。

    FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。

    深度解读完整解读
  9. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等5个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  10. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  11. 评测与基准arXiv 2610.11647

    多装一个技能：编码 Agent 中共同安装的技能如何发生冲突

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    arXiv
    2610.11647
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    claude-sonnet-4-6、claude-haiku-4-5-20251001、claude-opus-5 等6个
    摘要冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究，用核心功能是否还在，而不是任务过不过，来看冲突。。

    深度解读完整解读
  12. 评测与基准arXiv 2610.11599

    研究：大语言模型版本更替削弱 AI 辅助科研写作筛查

    测量 LLM 版本更替对科学摘要 AI 改写检测器的影响

    arXiv
    2610.11599
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    RoBERTa-base、Pangram
    摘要作者称检测器的基准准确率只是临时的，每次发布都要连同更早版本重验。

    作者量化的是：科学摘要的 AI 改写筛查，在 LLM 版本不断更换、而人类摘要误标必须少见时，会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿，但基准多停在评估时可得的版本上。

    深度解读完整解读
  13. 评测与基准arXiv 2610.11561

    Workerville：迈向 Agent 安全的组织行为学解释

    构建 Workerville 基准，测量组织条件如何改变 Agent 的安全行为

    arXiv
    2610.11561
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.2、Claude-Sonnet-4.6、Gemini-3.1-Pro 等6个
    摘要作者用 ACB 与 Workerville 测量组织条件对智能体安全的影响，并称结果支持可量化的组织行为框架。

    Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是：持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆，但既有安全评测多把这些通道拆开，没有统一的定量测量。

    深度解读完整解读
  14. 攻击arXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
    摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    深度解读完整解读
  15. 防御arXiv 2610.10833

    研究：Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    arXiv
    2610.10833
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
    摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

    深度解读完整解读
  17. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等8个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  18. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等6个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  19. 攻击arXiv 2610.09981

    研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    arXiv
    2610.09981
    发表
    层
    基础设施层
    场景
    LLM 应用
    被测模型
    RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router)

    摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。

    深度解读完整解读
  20. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
加载更多