跳到正文
10月13日 · 周二

全部论文

找到 298篇
筛选4

攻击类型

越狱5提示注入63投毒与后门53提取与窃取3检测规避24拒绝服务6

攻击技术

梯度与表征优化14自动化搜索20编码与混淆8角色扮演与说服9对话结构操控3跨模态载荷4针对防御9潜伏触发16诱导选用6

模型自身风险

欺骗与谋划10奖励作弊3失准与价值偏离18Agent 危险操作11拒答失当12幻觉与编造27偏见与歧视9

防御类型

模型加固9推理时干预14检测与过滤26指令与数据隔离11权限与审批8监控与审计8水印与溯源7

影响

有害内容112越权操作215数据与隐私泄露98输出被操纵237可用性与可靠性61监督失效88滥用能力提升17

系统形态

模型与 API92LLM 应用71AI Agent139coding agent19science agent7web agent9多智能体28具身与机器人7

攻击者权限

黑盒9白盒6

攻击面/入口

用户输入36网页与界面20文档与消息29工具返回18工具与技能描述8代码仓库与依赖6检索语料28记忆写入9Agent 间消息10图像与音视频17训练数据6权重与梯度6分发渠道15推理服务与硬件5

层

提示层68模型层101应用层197训练与数据层67基础设施层6

系统组件

MCP 与技能11记忆26RAG31护栏与评审28监控器5推理链7权限与沙箱9微调与开源权重4视觉22音频8视频5图像生成7嵌入6多模态38
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 216篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：可用性与可靠性层：模型层层：应用层清除全部

另有216篇论文还没打上分类标签，暂不在筛选结果里。

  4. 评测与基准arXiv 2610.12758

    DistressBench：评估大语言模型的多维度危机支持

    提出 DistressBench，评测模型在危机对话中的多维支持

    arXiv
    2610.12758
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Muse Spark 1.2、Muse Spark 1.3、Muse Glimmer 30B 等20个
    摘要模型更会克制而较少行动。

    DistressBench 用临床人员撰写并修订的 SSH 对话，按加权原子标准评通用聊天模型送达了多少必要照护，而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时，作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。

    深度解读完整解读
  5. 评测与基准arXiv 2610.12360

    论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    arXiv
    2610.12360
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等5个
    摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。

    作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。

    深度解读完整解读
  8. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等10个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  9. 评测与基准arXiv 2610.11647

    多装一个技能：编码 Agent 中共同安装的技能如何发生冲突

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    arXiv
    2610.11647
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    claude-sonnet-4-6、claude-haiku-4-5-20251001、claude-opus-5 等6个
    摘要冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究，用核心功能是否还在，而不是任务过不过，来看冲突。。

    深度解读完整解读
  10. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等4个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  11. 评测与基准arXiv 2610.11514

    SSCBench：评估工具调用 LLM Agent 故障注入测试证据有效性的测量协议与基准

    提出 SSCBench，评测工具调用 Agent 故障注入测试的证据有效性

    arXiv
    2610.11514
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    deepseek-flash、deepseek-v4-pro、gpt-5.6-luna 等5个
    摘要解释采纳前应报告该次执行的证据条件，以及支撑该主张的观察总体。

    SSCBench 研究工具使用智能体的故障注入结果，在什么证据条件下可以被解释。

    深度解读完整解读
  12. 评测与基准arXiv 2610.11305

    BeliefScope：区分证据与用户压力对模型信念影响的受控框架

    用 BeliefScope 分离固定命题上证据与压力对模型信念的影响

    arXiv
    2610.11305
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Llama3.1-8B、Gemma3-12B 等4个
    摘要BeliefScope 把证据修正与压力偏移拆成绑定评测条件的行为画像。

    BeliefScope 是一个黑盒行为诊断框架，用来把固定命题上的回答变化拆成证据驱动的修正，和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新，谄媚评测能看到用户影响下的顺从或漂移。作者认为，当两种输入都偏向同一结论时，表面偏移本身不能区分来源。

    深度解读完整解读
  13. 防御arXiv 2610.10833

    研究：Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    arXiv
    2610.10833
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
    摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

    深度解读完整解读
  14. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等8个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  15. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等6个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  16. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  17. 评测与基准arXiv 2610.09581

    研究审计 LLM 读取 Agent 日志的取证能力：答案正确但引用来源多为猜测

    评测 LLM 审计 Agent 日志时来源重建是否有证据支持

    arXiv
    2610.09581
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    gpt-5.6-luna、claude-sonnet-4-6、gpt-5.4-mini-2026-03-17 等5个
    摘要保存执行范围的标识绑定，才能把猜中的引用和证据支持的引用分开。

    包级审计检查保存的智能体动作里，哪些来源结论能被交给分析者的记录支持。

    深度解读完整解读
  20. 攻击arXiv 2610.09264

    研究者提出 PackHallu：经规则文件提示注入对编码 Agent 发起包幻觉攻击

    提出 PackHallu，经规则文件提示注入诱导编码 Agent 换用攻击者指定包

    arXiv
    2610.09264
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-7B、Qwen3-Coder-30B、Devstral-Small-2-24B 等19个
    摘要PackHallu 诱导规则文件换包。

    PackHallu 研究一种针对编程智能体规则文件的提示注入：让智能体在本应使用合法依赖时，改导入攻击者指定并控制的包。

    深度解读完整解读
加载更多