Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 46 papers

Another 265papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.12524

    An exploration of attacks on AI agent systems

    重测并扩展对 AI Agent 的提示注入,并用 Agent Card 欺骗操纵 A2A 选择

    Published
    Setting
    AI Agent
    Evaluated models
    Ollama Mistral 0.9.5, llama3-8b-8192, gemini-2.0-flash-lite and others5
    Abstract单智能体过滤与分类可被格式或措辞绕过,A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入,并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点,同时把攻击扩到多智能体。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.09981

    研究:LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    Published
    Evaluated models
    RouteLLM (BERT router), notdiamond-0001, Vela (vLLM Semantic Router)

    Abstract论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露,验证了按类别公平性防御的有效性与边界。

    Paper analysisRead analysis
  3. AttacksarXiv 2610.06848

    TranScope:利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE,用 CPU 硬件计数器推断训练集成员

    Published
    Attacker
    Black-box
    Evaluated models
    BERT (4.4M-340M), ViT (22M-307M), Pythia (70M-2.8B) and others5

    AbstractTRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异,证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    Paper analysisRead analysis
  4. AttacksarXiv 2610.00392

    A2A-TIBA:针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA,经 A2A 对等任务间接注入并植入常驻回调

    Published
    Evaluated models
    MiniMax-M3, deepseek-v4-pro, glm-5.3 and others8
    AbstractA2A-TIBA 一次植入后绕过智能体,GDA 用四类结果定位防线,ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A:gray-box 攻击者已能投递任务,诱导目标部署常驻回调程序后,下令和外传不再经过智能体。

    Paper analysisRead analysis
  5. 研究评估 GradSafe 在多轮对话中的越狱检测脆弱性

    评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性

    Published
    Evaluated models
    Llama 3.1 8B Instruct, Qwen2.5-7B-Instruct
    AbstractCWS 显示不安全梯度在真实多轮流量中变弱,且随攻击族和模型而变。

    作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性,方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。

    Paper analysisRead analysis
  6. AttacksarXiv 2609.30383

    研究者提出技能级联攻击

    提出技能级联攻击,把有害目标拆散到多个技能里绕过单技能扫描

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.4, GPT-5.4 Mini, Claude Opus 4.6 and others11

    Abstract论文探讨了多技能智能体系统面临的技能级联攻击风险,提出自动化红队框架与基准集,指出跨技能交互存在安全防护盲区。

    Paper analysisRead analysis
  7. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,拆分任务向对齐模型套取能力

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    Paper analysisRead analysis
  8. AttacksarXiv 2609.03247

    研究揭示大语言模型的自发身份认证失败:五款模型的分阶段开发者身份实验

    提出 MIPC 与 CFA,观察模型自拟测验后接受开发者身份

    Published
    Evaluated models
    ChatGPT, Claude, Qwen3.7-Plus and others5
    Abstract自拟测验可造成对话层虚假认证,但所测授权边界并未因此改变。

    这项工作把“模型自己出题、自己批改、再宣布身份已核验”定义成对话层认证失败,并与后端提权分开。

    Paper analysisRead analysis
  9. AttacksarXiv 2609.02414

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    提出多轮越狱框架 BLUEPRINT,用世界观模拟与心理因素诱导有害输出

    Published
    Attacker
    Black-box
    Evaluated models
    Qwen3-Next-80B, DeepSeek-V3.2, GLM-4.7 and others6
    AbstractBLUEPRINT 解耦多轮越狱策略与情境模拟,揭示任务具象化是摆脱拒绝的核心机制,为多轮安全防御提供新视角。

    BLUEPRINT 是一个将因子化社会影响力策略空间与跨轮世界观模拟解耦的多轮大语言模型安全评测框架。

    Paper analysisRead analysis
  10. AttacksarXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL,诱导自演化编码 Agent 在创建技能时自我投毒并蠕虫传播

    Published
    Evaluated models
    Devstral-Small-2, Gemma-4-31B-IT, Qwen3-Coder-Next and others7

    Abstract论文指出了自演化智能体模仿检索代码的自我毒化漏洞,提出 EVOMAL 攻击与防御,阐明了供应链新风险。

    Paper analysisRead analysis
  11. AttacksarXiv 2608.17485

    KeyPooling:测量 LLM API 中继路径在何处瓦解提示缓存隔离

    提出 KeyPooling,测量 API 中继何处瓦解提示缓存隔离

    Published
    Evaluated models
    grok-4-fast-non-reasoning, grok-4-1-fast-non-reasoning, grok-3 and others11
    Abstract共享上游凭证使中继客户进入同一缓存域,保留身份或独立 principal 可分开。

    KeyPooling测量 LLM API 中继在何处丢掉客户身份,使 prompt cache 不再按下游客户隔离。

    Paper analysisRead analysis
  12. AttacksarXiv 2608.12273

    研究者提出 Convergent Detour Hijacking 攻击,可让技能型 LLM Agent 绕路并放大资源消耗

    提出 CDH 攻击,让技能型 Agent 绕路放大资源消耗

    Published
    Setting
    AI Agent
    Evaluated models
    Claude-Haiku-4.5, DeepSeek-V4-Pro, DeepSeek-V4-Flash and others6
    AbstractCDH 让静态技能在保持任务完成时拉高调用与 token,耗时则因后端而异。

    CDH 是针对渐进披露技能智能体的发布者侧、纯文本攻击:一个静态协调器把本可正确完成的任务,拐进有界但更耗资源的技能绕路,再交还原任务。

    Paper analysisRead analysis
  13. OtherarXiv 2608.01117

    SoK 论文提出面向意图的多轮 LLM 越狱分类体系

    提出面向意图的多轮 LLM 越狱分类体系

    Published
    Evaluated models
    Llama-3, Llama-3.3-70B, DeepSeek-V3 and others11
    Abstract作者用四维意图分类整理多轮越狱,并称组织方式影响效果与观察范围。

    这是一篇关于多轮 LLM 越狱的 SoK:按有害意图在交互中的组织位置分类,而不是按单步提示技巧分类。

    Paper analysisRead analysis
  14. AttacksarXiv 2607.18056

    上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型 Intern-BioBreaker,多轮越狱诱导模型输出可操作生物危害

    Published
    Evaluated models
    DeepSeek-V3, Kimi-K2.6, DeepSeek-V4-Pro and others14

    Abstract论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。

    Paper analysisRead analysis
  15. AttacksarXiv 2607.12340

    研究:LLM Agent 技能名幻觉率最高达 62%,可被抢注用于供应链攻击

    提出技能名称抢注攻击,利用 Agent 虚构技能名实施供应链劫持

    Published
    Evaluated models
    GLM-4.5-Air, GPT-5.4-mini, Claude Sonnet 4.6 and others12
    Abstract研究证实智能体虚构技能名具有高发生率与可预测性,现有防御难以兼顾安全与效用,亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险,将其形式化为一种新型供应链抢注攻击。

    Paper analysisRead analysis