Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 15 papers
Filter5

Attack type

Prompt injection12Detection evasion3

Defense type

Model hardening3Detection and filtering10Instruction–data separation12Permissions and approval10Monitoring and auditing7Watermarking and provenance8

Impact

Unauthorized actions9Output manipulation4

System type

LLM applications3AI Agent12

Attacker access

Black-box3

Attack surface / entry point

User input35Web pages and interfaces13Documents and messages15Tool responses26Tool and skill descriptions13Code repositories and dependencies3Retrieval corpus5Memory writes3Inter-agent messages3Images, audio and video9Weights and gradients3Distribution channels10

Layer

Model layer0Application layer15

System component

Guardrails and judges6Monitors5
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 248papers have no tags yet and are not included in filtered results.
Defense type：Detection and filteringDefense type：Monitoring and auditingAttack surface / entry point：Documents and messagesLayer：Model layerLayer：Application layerClear all

Another 248papers do not have category tags yet and are not included in filtered results.

  2. DefensesarXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Attacker
    Black-box
    Abstract形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.05163

    Researchers construct segmented prompt injection on Claude Code and Codex and release a boundary action audit benchmark

    提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入

    arXiv
    2610.05163
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Claude Code (v2.1.172, Claude Sonnet 5), Codex CLI (v0.144.0, GPT-5.5)
    Abstract论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    Paper analysisRead analysis
  4. DefensesarXiv 2609.30657

    研究者提出面向邮件 Agent 的攻击链建模提示注入检测框架

    提出面向邮件 Agent 的攻击链提示注入检测框架

    arXiv
    2609.30657
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Proposed framework
    Abstract攻击链与动作一致性融合改善了严格检测的平均 F1，但迁移、误报和攻击召回仍需分别看。

    这是一项邮件智能体提示注入防御的离线建模与评测研究：作者把攻击文本是否恶意、攻击是否推进到工具操作、最终参数是否达标分开处理。

    Paper analysisRead analysis
  5. AttacksarXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，并设计摄入期检测器 DeFuse

    arXiv
    2609.22510
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.1-70B-Instruct, Qwen2.5-32B-Instruct and others15
    Abstract论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.13601

    Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击

    提出 DEMI 检测框架，用生命周期模拟和证据映射发现 DAO 提案错配

    arXiv
    2609.13601
    Published
    Layer
    Application layer
    Setting
    LLM applications
    Evaluated models
    GPT-4o, GPT-4o-mini, GPT-4.1 and others9
    Abstract作者把 DAO 错配检测做成执行前审计层，主张逐动作证据映射与风险复核是关键。

    这是面向 DAO 治理的执行前错配检测研究：攻击者可以提交看似合理的描述，但让获批载荷执行另一种行为，投票描述并不直接约束代码。

    Paper analysisRead analysis
  8. DefensesarXiv 2609.08394

    Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡

    提出 OBELISK 三级流水线，权衡恶意软件检测的准确率、开销与鲁棒性

    arXiv
    2609.08394
    Published
    Layer
    Application layer
    Setting
    LLM applications
    Attacker
    White-box, Black-box
    Evaluated models
    GBDT-ALL, GBDT-YARA, NEBULA-ALL and others4
    Abstract三级过滤以不大的检测损失换速度，同一机制扩大攻击面，部署应按约束选配置。

    OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。

    Paper analysisRead analysis
  9. DefensesarXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准分配给独立调用以抵御展示攻击

    arXiv
    2608.06422
    Published
    Layer
    Application layer
    Setting
    LLM applications
    Attacker
    Black-box
    Evaluated models
    Claude Opus 4.8, Claude Sonnet 4.6, Claude Opus 4.6 and others4
    Abstract论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    Paper analysisRead analysis
  11. AttacksarXiv 2607.06595

    When Agents Remember Too Much: Memory Poisoning Attacks against Large Language Model Agents

    Proposed GhostWriter memory poisoning, which writes into the agent's long-term memory via email and calendar and activates across sessions

    arXiv
    2607.06595
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.4-mini, DeepSeek-V4-Flash, Gemini-2.5-Flash and others4
    Paper analysisRead analysis
  12. DefensesarXiv 2605.17380

    Uber proposes ADR enterprise-level agent detection system, deployed on 7,200 hosts for ten months

    提出企业级检测系统 ADR，识别编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    Published
    Layer
    Application layer
    Setting
    coding agent

    Abstract提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    Paper analysisRead analysis
  13. DefensesarXiv 2603.04474

    从火花到烈火：建模并缓解基于 LLM 的多智能体协作中的错误级联

    提出谱系图治理层抑制多智能体协作的错误级联

    arXiv
    2603.04474
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Abstract单一种子可沿固定协作图固化为错误共识。

    作者把 LLM-MAS 中“小错变成集体错误共识”做成图上的可测传播，并用只改消息、不改拓扑的插件压低最终感染。

    Paper analysisRead analysis
  14. DefensesarXiv 2602.20708

    ICON：基于推理时纠正的 Agent 间接提示注入防御

    提出推理时防御 ICON，探测注意力过聚焦并转向以纠正 Agent 间接提示注入

    arXiv
    2602.20708
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Qwen-3-8B, Llama-3.1-8B, Mistral-8B and others6
    AbstractICON 在推理时检测过聚焦并转向，以兼顾 IPI 安全与任务效用。

    ICON 在推理时检测 IPI 的注意力过聚焦并转向，避免以拒答中止智能体轨迹。

    Paper analysisRead analysis
  15. Evaluation and benchmarksarXiv 2510.01354

    WAInjectBench 系统评测网页 Agent 的提示注入检测方法

    提出 WAInjectBench 评测网页 Agent 的提示注入检测

    arXiv
    2510.01354
    Published
    Layer
    Application layer
    Setting
    web agent
    Evaluated models
    GPT-4o, Mistral-7B-Instruct-v0.1, Llama-Prompt-Guard-2-86M and others8
    AbstractWAInjectBench 比较网页智能体的提示注入检测：显式线索可被部分检出，隐蔽攻击大多漏检。

    WAInjectBench 是网页智能体提示注入检测的基准。作者要看现有检测器能否发现这类攻击：攻击者改网页，使智能体执行目标动作，而不是用户任务。作者称这是首个此类综合基准。

    Paper analysisRead analysis
You have reached the end