Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 21 papers

Another 240papers do not have category tags yet and are not included in filtered results.

  1. DefensesarXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Abstract形式化验证可有效识别多步攻击,但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    Paper analysisRead analysis
  2. 研究者提出统一滥用监控基准,覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标,统一评测分解攻击和提示注入下的智能体滥用监视

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架,动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.05163

    Researchers construct segmented prompt injection on Claude Code and Codex and release a boundary action audit benchmark

    提出 PAA 方法,在边界动作前审计长流程智能体的分阶段提示注入

    Published
    Evaluated models
    Claude Code (v2.1.172, Claude Sonnet 5), Codex CLI (v0.144.0, GPT-5.5)
    Abstract论文针对长流程注入提出边界动作审计与 PAA,在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    Paper analysisRead analysis
  4. DefensesarXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    Published
    Evaluated models
    Claude Code (claude -p, version 2.1), 独立评审(同一 CLI,无工具)
    AbstractTracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    Paper analysisRead analysis
  5. ORBIT:基于 UK AISI Inspect 的多智能体安全评测框架

    提出 ORBIT 框架,评测多智能体防御对合谋等威胁的效果

    Published
    Evaluated models
    GPT-5.4, Claude Sonnet 4.6, Qwen3-235B and others5

    AbstractORBIT 用六层配置比较多智能体防御,逐动作监控不迁移到合谋。

    Paper analysisRead analysis
  6. 研究提出 ACE 语料库,评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料,评测内核级证据对 Agent 攻击检测的有效性

    Published
    Evaluated models
    AdaBoost, XGBoost, TabPFN and others10
    AbstractACE 用配对的内核与应用层证据表明,syscall 痕迹可判别智能体攻击,两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    Paper analysisRead analysis
  7. AttacksarXiv 2609.27542

    Researchers use control token injection to delete gpt-oss-20b's reasoning chain and bypass chain-of-thought monitoring

    提出控制标记注入,清空工具 Agent 的思维链以绕过推理监控

    Published
    Setting
    AI Agent
    Evaluated models
    openai/gpt-oss-20b, google/gemma-4-26B-A4B-it, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B and others4

    Abstract论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    Paper analysisRead analysis
  8. OtherarXiv 2609.12413

    SoK 综述:智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线,并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis
  9. DefensesarXiv 2606.22673

    Agent MechSuits:面向多轮 CLI Agent 的机制子空间安全引导

    提出 Agent MechSuits,对多轮 CLI Agent 做步级检测与子空间转向

    Published
    Evaluated models
    LLaMA-3.1-8B, Qwen-2.5-7B, Gemma-2-9B
    Abstract白盒步级探针加稀疏转向可压低三模型恶意动作,同时提高生成崩溃率。

    Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御,并配有可执行轨迹基准 MAS。

    Paper analysisRead analysis
  10. AttacksarXiv 2606.12716

    PaperGuard:针对多模态 AI 同行评审的攻击与防御基准

    提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令

    Published
    Evaluated models
    Claude-sonnet-4.5, GPT-4o, GPT-4.1 and others11
    AbstractPaperGuard 测到提示注入与白盒视觉抬分,并比较分块检索防御。

    PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。

    Paper analysisRead analysis
  11. DefensesarXiv 2605.17380

    Uber proposes ADR enterprise-level agent detection system, deployed on 7,200 hosts for ten months

    提出企业级检测系统 ADR,识别编程 Agent 的提示注入与恶意 MCP

    Published

    Abstract提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统,并在生产环境中验证了有效性。

    Paper analysisRead analysis
  12. DefensesarXiv 2604.03870

    Your Agent Is More Fragile Than You Think: Revealing Indirect Prompt Injection Vulnerabilities in Agentic LLMs

    Using representation engineering to identify agent indirect injection hijacking before action submission

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen-2.5-14B, Qwen-2.5-32B, Qwen-3-4B and others9
    AbstractOn two Qwen models, all six defenses have Overall higher than no defense.

    In the AgentDojo banking tool-calling environment, the authors examine whether indirect prompt injection causes open-source agents to execute attacker-specified actions, and the respective numbers for surface defenses and representation-based detection.

    Paper analysisRead analysis
  13. DefensesarXiv 2602.20708

    ICON:基于推理时纠正的 Agent 间接提示注入防御

    提出推理时防御 ICON,探测注意力过聚焦并转向以纠正 Agent 间接提示注入

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen-3-8B, Llama-3.1-8B, Mistral-8B and others6
    AbstractICON 在推理时检测过聚焦并转向,以兼顾 IPI 安全与任务效用。

    ICON 在推理时检测 IPI 的注意力过聚焦并转向,避免以拒答中止智能体轨迹。

    Paper analysisRead analysis
  14. AttacksarXiv 2602.18514

    招聘中的特洛伊木马:标准模型与推理模型间接提示注入的红队测试案例研究

    用简历中的不可见指令做间接提示注入,操纵招聘推荐

    Published
    Evaluated models
    Qwen 3 30B A3B Instruct 2507, Qwen 3 30B A3B Thinking 2507

    Abstract作者称推理在简单注入下会帮攻击圆谎,在不合逻辑的复杂注入下又会把欺骗漏出来。

    Paper analysisRead analysis
  15. AttacksarXiv 2602.00364

    "Someone hid it": Query-agnostic black-box attacks against LLM retrieval

    提出查询无关黑盒攻击 DQ-A,用可迁移文末后缀降低文档检索排名

    Published
    Evaluated models
    Qwen-1.5-7B-Instruct, SFR-Embedding-Mistral, E5-Mistral-7B-Instruct and others10
    AbstractDQ-A 以无查询黑盒后缀压低 LLM 检索排名,并在 BRIGHT 上比较三种基线。

    DQ-A 是一种 query-agnostic、complete black-box 的文档隐藏攻击,对象是用最后隐层相似度匹配的 LLM 检索。

    Paper analysisRead analysis