跳到正文
10月13日 · 周二

全部论文

找到 22篇

另有201篇论文还没打上分类标签,暂不在筛选结果里。

  1. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    发表
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击,但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  2. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准,覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标,统一评测分解攻击和提示注入下的智能体滥用监视

    发表
    场景
    AI Agent
    被测模型
    Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等12个

    摘要统一智能体滥用监视框架,动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  3. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 方法,在边界动作前审计长流程智能体的分阶段提示注入

    发表
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA,在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  4. 防御arXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    发表
    被测模型
    Claude Code (claude -p, version 2.1)、独立评审(同一 CLI,无工具)
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    深度解读完整解读
  5. 风险行为arXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    发表
    被测模型
    GPT-5.6-Sol、GPT-6-Sol、Opus-5 等11个
    摘要论文评估了本地智能体的轨迹防篡改能力,发现其可因外部指令或奖励追求而清除执行证据,亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    深度解读完整解读
  6. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库,评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料,评测内核级证据对 Agent 攻击检测的有效性

    发表
    被测模型
    AdaBoost、XGBoost、TabPFN 等10个
    摘要ACE 用配对的内核与应用层证据表明,syscall 痕迹可判别智能体攻击,两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  7. 攻击arXiv 2609.27542

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    提出控制标记注入,清空工具 Agent 的思维链以绕过推理监控

    发表
    场景
    AI Agent
    被测模型
    openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等4个

    摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    深度解读完整解读
  8. 防御arXiv 2608.21101

    ClawSentry:面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 多层监控网关,在技能准入和运行时拦截恶意技能与隐藏指令

    发表
    被测模型
    Codex/GPT-5.4、Codex/GPT-5.5、Claude Code/GLM-5.1 等6个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过,压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关,用来同时盖住 skill 执行的多个生命周期边界,并把已被拒绝的效果记到会话里。

    深度解读完整解读
  9. 防御arXiv 2606.22673

    Agent MechSuits:面向多轮 CLI Agent 的机制子空间安全引导

    提出 Agent MechSuits,对多轮 CLI Agent 做步级检测与子空间转向

    发表
    被测模型
    LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B
    摘要白盒步级探针加稀疏转向可压低三模型恶意动作,同时提高生成崩溃率。

    Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御,并配有可执行轨迹基准 MAS。

    深度解读完整解读
  10. 攻击arXiv 2606.12716

    PaperGuard:针对多模态 AI 同行评审的攻击与防御基准

    提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令

    发表
    被测模型
    Claude-sonnet-4.5、GPT-4o、GPT-4.1 等11个
    摘要PaperGuard 测到提示注入与白盒视觉抬分,并比较分块检索防御。

    PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。

    深度解读完整解读
  11. 攻击arXiv 2605.28074

    SilentRetrieval:以语义保持的对抗数据投毒劫持检索增强生成

    提出 SilentRetrieval,以语义保持对抗文档投毒劫持 RAG 检索与生成

    发表
    被测模型
    Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2、Qwen-7B-Chat 等10个
    摘要两阶段投毒在单文档协议下兼顾检索劫持、生成操纵与近良性困惑度。

    SilentRetrieval 是针对 RAG 的两阶段语料投毒,在每查询一篇、合成目标答案的统一协议下,同时处理检索劫持、生成操纵和流畅度。

    深度解读完整解读
  12. 防御arXiv 2604.03870

    你的 Agent 比你想象的更脆弱:揭示智能体式 LLM 中的间接提示注入漏洞

    用表征工程在动作提交前识别智能体间接注入劫持

    发表
    场景
    AI Agent
    被测模型
    Qwen-2.5-14B、Qwen-2.5-32B、Qwen-3-4B 等9个
    摘要两款 Qwen 上六种防御 Overall 高于无防御。

    作者在 AgentDojo 的银行工具调用环境里,检查间接提示注入是否让开源智能体执行攻击者指定动作,以及表面防御和表征检测各自的数字。

    深度解读完整解读
  13. 防御arXiv 2602.20708

    ICON:基于推理时纠正的 Agent 间接提示注入防御

    提出推理时防御 ICON,探测注意力过聚焦并转向以纠正 Agent 间接提示注入

    发表
    场景
    AI Agent
    被测模型
    Qwen-3-8B、Llama-3.1-8B、Mistral-8B 等6个
    摘要ICON 在推理时检测过聚焦并转向,以兼顾 IPI 安全与任务效用。

    ICON 在推理时检测 IPI 的注意力过聚焦并转向,避免以拒答中止智能体轨迹。

    深度解读完整解读