跳到正文
10月12日 · 周一

全部论文

找到 216篇
筛选3

攻击类型

越狱17提示注入100投毒与后门28提取与窃取7检测规避11恶意使用6

攻击技术

针对防御3

模型自身风险

欺骗与谋划7奖励作弊14失准与价值偏离5Agent 危险操作39幻觉与编造7

防御类型

模型加固25推理时干预12检测与过滤50指令与数据隔离54权限与审批68监控与审计36水印与溯源5

影响

有害内容9越权操作102数据与隐私泄露25输出被操纵45可用性与可靠性9监督失效18

系统形态

模型与 API228LLM 应用34AI Agent184coding agent28science agent7web agent9网页与电脑操作9多智能体19具身与机器人10

攻击者权限

黑盒13

攻击面/入口

用户输入45网页与界面37文档与消息32工具返回60工具与技能描述23代码仓库与依赖7检索语料10记忆写入13Agent 间消息12图像与音视频6分发渠道13推理服务与硬件4

层

模型层5应用层199训练与数据层10

系统组件

MCP 与技能26记忆23RAG10护栏与评审36监控器34推理链3权限与沙箱62视觉8多模态10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 232篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：AI Agent系统形态：coding agent清除全部

另有232篇论文还没打上分类标签，暂不在筛选结果里。

  5. 防御arXiv 2610.12432

    FAITH：面向高维系统的可行性感知安全过滤强化学习框架

    提出 FAITH 安全过滤强化学习框架，训练高维系统在约束下优化任务回报

    arXiv
    2610.12432
    发表
    层
    训练与数据层
    场景
    具身与机器人
    摘要FAITH 分开安全过滤与回报优化。

    FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。

    深度解读完整解读
  7. 防御arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  8. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等18个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  9. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等4个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  11. 防御arXiv 2610.10833

    研究：Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    arXiv
    2610.10833
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
    摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

    深度解读完整解读
  13. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  14. 防御arXiv 2610.10612

    PyCache Trap 利用 Python 缓存替换绕过七款 Agent Skill 扫描器

    提出 PyCache Trap，用字节码缓存替换绕过 Agent 技能扫描器

    arXiv
    2610.10612
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    CISCO、HSS、AUDITOR 等8个
    摘要论文剖析智能体技能审查与执行脱节盲区，提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。

    这篇论文研究了智能体技能（Agent Skills）安全扫描中的“审查–执行脱节”问题，并提出了对应的攻击验证与防御方案。

    深度解读完整解读
  16. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  18. 防御arXiv 2610.09043

    CARE：安全高效的人机协作决策框架

    提出 CARE 框架，在误分类风险约束下减少人机协作的人工查询

    arXiv
    2610.09043
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-VL-2B-Instruct、Perspective、Moderation 等9个
    摘要CARE 以残差校正加逐步校准做人机决策，四个任务上少查询并控制集成风险。

    CARE 是面向人机协同二分类的端到端流水线，要在误分类风险不超过用户容忍的前提下减少人类查询。设定是 i.i.d.数据流、人类 oracle 标签正确、AI 为任意黑盒概率分类器。

    深度解读完整解读
  20. 防御arXiv 2610.08761

    VeriFine：通过扩展验证实现具身推理的自我改进

    提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进

    arXiv
    2610.08761
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
    摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。

    VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

    深度解读完整解读
加载更多