Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 159 papers
Filter4

Attack type

Jailbreaks5Prompt injection67Poisoning and backdoors36Extraction and theft6Detection evasion4

Attack technique

Gradient and representation optimization6Automated search16Encoding and obfuscation5Defense-targeted9Dormant triggers22Selection manipulation7

Model risks

Deception and scheming9Misalignment and value divergence7Dangerous agent actions18Hallucination and fabrication8

Defense type

Model hardening5Detection and filtering11Instruction–data separation13Permissions and approval15Monitoring and auditing8Watermarking and provenance3

Impact

Harmful content30Unauthorized actions217Data and privacy leaks55Output manipulation104Availability and reliability52Oversight failure56Increased misuse capability14

System type

Models and APIs238LLM applications87AI Agent159coding agent29science agent6web agent11Browser and computer use2Multi-agent systems33Embodied systems and robotics6

Attacker access

Black-box5

Attack surface / entry point

User input32Web pages and interfaces16Documents and messages18Tool responses23Tool and skill descriptions16Code repositories and dependencies8Retrieval corpus5Memory writes16Inter-agent messages16Images, audio and video7Training data3Weights and gradients3Distribution channels17

Layer

Prompt layer4Model layer6Application layer145Training and data layer4

System component

MCP and skills21Memory32RAG7Guardrails and judges11Monitors10Reasoning chains4Permissions and sandboxing18Fine-tuning and open weights3Vision6Multimodal7
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 233papers have no tags yet and are not included in filtered results.
Impact：Data and privacy leaksImpact：Output manipulationSystem type：AI AgentSystem type：Browser and computer useClear all

Another 233papers do not have category tags yet and are not included in filtered results.

  1. Evaluation and benchmarksarXiv 2610.12360

    The paper proposes the ISE framework to evaluate LLM agents' epistemic humility under knowledge conflicts

    Proposes the ISE framework to evaluate the epistemic humility of LLM agents under knowledge conflicts

    arXiv
    2610.12360
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Nemotron-Orchestrator-8B, Claude Sonnet 4.6, GPT-5 and others5
    AbstractISE trajectory evaluations show that high task accuracy across four agents does not correspond to higher cognitive humility.

    What the authors want to test is not whether the agent's final answer is correct, but whether, when a knowledge conflict arises, it recognizes the gap in its trajectory, performs bounded tool follow-up, and writes the unresolved uncertainty to the user.

    Paper analysisRead analysis
  3. Evaluation and benchmarksarXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    ObligationGuard, Claude-Opus-4.8, GPT-5.6-Sol and others17
    Abstract义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    Paper analysisRead analysis
  4. Evaluation and benchmarksarXiv 2610.11561

    Workerville: Toward an Organizational Behavior Explanation of Agent Safety

    构建 Workerville 基准，测量组织条件如何改变 Agent 的安全行为

    arXiv
    2610.11561
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.2, Claude-Sonnet-4.6, Gemini-3.1-Pro and others6
    Abstract作者用 ACB 与 Workerville 测量组织条件对智能体安全的影响，并称结果支持可量化的组织行为框架。

    Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是：持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆，但既有安全评测多把这些通道拆开，没有统一的定量测量。

    Paper analysisRead analysis
  5. Evaluation and benchmarksarXiv 2610.11514

    SSCBench：评估工具调用 LLM Agent 故障注入测试证据有效性的测量协议与基准

    提出 SSCBench，评测工具调用 Agent 故障注入测试的证据有效性

    arXiv
    2610.11514
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    deepseek-flash, deepseek-v4-pro, gpt-5.6-luna and others5
    Abstract解释采纳前应报告该次执行的证据条件，以及支撑该主张的观察总体。

    SSCBench 研究工具使用智能体的故障注入结果，在什么证据条件下可以被解释。

    Paper analysisRead analysis
  6. AttacksarXiv 2610.12524

    An exploration of attacks on AI agent systems

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Ollama Mistral 0.9.5, llama3-8b-8192, gemini-2.0-flash-lite and others5
    Abstract单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    Paper analysisRead analysis
  8. Evaluation and benchmarksarXiv 2610.09581

    研究审计 LLM 读取 Agent 日志的取证能力：答案正确但引用来源多为猜测

    评测 LLM 审计 Agent 日志时来源重建是否有证据支持

    arXiv
    2610.09581
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    gpt-5.6-luna, claude-sonnet-4-6, gpt-5.4-mini-2026-03-17 and others5
    Abstract保存执行范围的标识绑定，才能把猜中的引用和证据支持的引用分开。

    包级审计检查保存的智能体动作里，哪些来源结论能被交给分析者的记录支持。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.09496

    SOUL：用稀疏特征策略遗忘缓解 VLA 模型的状态幻觉

    提出 SOUL 稀疏特征策略遗忘，缓解 VLA 状态幻觉

    arXiv
    2610.09496
    Published
    Layer
    Training and data layer
    Setting
    Embodied systems and robotics
    Evaluated models
    OpenVLA, π0.5
    AbstractSOUL 以稀疏特征遗忘 VLA 状态幻觉。

    SOUL用稀疏特征引导的策略 unlearning 处理 VLA 的 state hallucination。

    Paper analysisRead analysis
  11. AttacksarXiv 2610.09264

    研究者提出 PackHallu：经规则文件提示注入对编码 Agent 发起包幻觉攻击

    提出 PackHallu，经规则文件提示注入诱导编码 Agent 换用攻击者指定包

    arXiv
    2610.09264
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Qwen2.5-Coder-7B, Qwen3-Coder-30B, Devstral-Small-2-24B and others19
    AbstractPackHallu 诱导规则文件换包。

    PackHallu 研究一种针对编程智能体规则文件的提示注入：让智能体在本应使用合法依赖时，改导入攻击者指定并控制的包。

    Paper analysisRead analysis
  12. DefensesarXiv 2610.08668

    SBW：面向 LLM 智能体的语义行为水印方法

    提出 SBW，为 LLM Agent 轨迹做抗改写与伪造的语义行为水印

    arXiv
    2610.08668
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-3B-Instruct, LLaMA-3.2-3B, Qwen2.5-7B and others5
    AbstractSBW 在语义簇上做溯源水印，改写检测高于精确符号，链式重放仍开放。

    SBW 是免训练的智能体行为水印，把所有者标识放在离散动作选择上，而不是输出 token。

    Paper analysisRead analysis
  15. AttacksarXiv 2610.07645

    SkillPoison：用成功经验投毒自进化 Agent 的技能形成

    提出 SkillPoison，用局部有效的成功经验诱导自进化 Agent 形成过度泛化技能

    arXiv
    2610.07645
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    deepseek-v4-flash, Qwen V3.8 Flash, GPT-5.5
    AbstractSkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。

    Paper analysisRead analysis
  16. AttacksarXiv 2610.07510

    PersistBD: attackers can strengthen backdoors before release so that they maintain high attack success rates even after developer SFT and RL.

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Qwen2.5-Coder-3B-Instruct, Qwen2.5-Coder-7B-Instruct, Qwen3-Coder-30B-A3B-Instruct
    Abstract总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    Paper analysisRead analysis
  17. Evaluation and benchmarksarXiv 2610.07309

    论文提出长期记忆智能体的检索可允许性验证框架

    提出检索可采纳性核验框架，评测记忆智能体的记录资格与披露

    arXiv
    2610.07309
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    DeepSeek V4 Pro, Gemini 3.6 Flash, GPT-5.6 Luna and others7
    Abstract作者用三值可采纳性和匹配召回界审计长时记忆检索，并分开报告支持、资格与披露。

    这是一套长时记忆检索的可采纳性核验协议，用来分开检查候选支持、资格、提示词暴露和答案披露，而不是提出新的检索算法。。

    Paper analysisRead analysis
  18. DefensesarXiv 2610.07258

    AMU：用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    arXiv
    2610.07258
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Abstract在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    GPT-5.5, GPT-5.4, GPT-5.4-mini and others5
    Abstract论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    Paper analysisRead analysis
  20. InterpretabilityarXiv 2610.06576

    研究：智能体欺骗行为在外部显现前已可从内部表征预测

    提出基于决策前隐藏状态的检测与引导，预测并抑制智能体欺骗

    arXiv
    2610.06576
    Published
    Layer
    Model layer
    Setting
    AI Agent
    Evaluated models
    Qwen3-14B

    Abstract论文展示了智能体自发欺骗可在行为显现前由内部表征预测，并通过激活引导证实了表征的行为可操作性。

    Paper analysisRead analysis
Load more