跳到正文
10月13日 · 周二

全部论文

找到 17篇

另有201篇论文还没打上分类标签,暂不在筛选结果里。

  1. 攻击arXiv 2609.27542

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    提出控制标记注入,清空工具 Agent 的思维链以绕过推理监控

    发表
    场景
    AI Agent
    被测模型
    openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等4个

    摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    深度解读完整解读
  2. 攻击arXiv 2607.00422

    KidnapRAG:黑盒投毒攻击劫持 Agentic RAG 的推理链

    提出 KidnapRAG,用投毒文档黑盒劫持 Agentic RAG 的推理链

    发表
    场景
    AI Agent
    被测模型
    Qwen2.5-32B-Instruct、Llama-3.3-70B-Instruct、QwQ-32B 等5个
    摘要顺序投毒可把多步推理拖向指定应答,作者称关键在持续引导而非单次注入。

    KidnapRAG 是针对 Agentic RAG 的 black-box 语料投毒:攻击者不能访问模型、提示词、检索器或私有轨迹,只能发布可能被检索的文档,并利用公开界面上的推理与搜索查询。

    深度解读完整解读
  3. 攻击arXiv 2607.01276

    研究者提出嵌入推断攻击 EIA,可在黑盒 IR 系统中识别所用嵌入模型

    提出嵌入推断攻击 EIA,在黑盒 IR 中识别所用嵌入模型

    发表
    攻击者
    黑盒
    被测模型
    e5-small、e5-small-v2、e5-base 等19个
    摘要EIA 用无序文档集的差异从候选中识别嵌入模型,并给出 reranker 与阈值下的计数。

    EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。。

    深度解读完整解读
  4. 攻击arXiv 2606.12716

    PaperGuard:针对多模态 AI 同行评审的攻击与防御基准

    提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令

    发表
    被测模型
    Claude-sonnet-4.5、GPT-4o、GPT-4.1 等11个
    摘要PaperGuard 测到提示注入与白盒视觉抬分,并比较分块检索防御。

    PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。

    深度解读完整解读
  5. 攻击arXiv 2605.28074

    SilentRetrieval:以语义保持的对抗数据投毒劫持检索增强生成

    提出 SilentRetrieval,以语义保持对抗文档投毒劫持 RAG 检索与生成

    发表
    被测模型
    Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2、Qwen-7B-Chat 等10个
    摘要两阶段投毒在单文档协议下兼顾检索劫持、生成操纵与近良性困惑度。

    SilentRetrieval 是针对 RAG 的两阶段语料投毒,在每查询一篇、合成目标答案的统一协议下,同时处理检索劫持、生成操纵和流畅度。

    深度解读完整解读
  6. 攻击arXiv 2604.05549

    别再执着于提示词:面向 LLM Agent 红队测试的推理劫持与约束收紧

    提出 JailAgent,不改用户提示,经推理劫持与记忆投毒操纵 Agent 动作

    发表
    场景
    AI Agent
    被测模型
    GPT-3.5-turbo、GPT-4o、GPT-5 等7个
    摘要JailAgent 不改提示词,用三阶段操纵推理与检索。

    JailAgent 是不修改用户原始提示词的 LLM 智能体红队框架。

    深度解读完整解读
  7. 攻击arXiv 2603.12277

    提示注入即角色混淆

    提出 CoT Forgery,经用户消息或工具输出注入伪造推理

    发表
    场景
    AI Agent
    攻击者
    黑盒
    被测模型
    gpt-oss-20b、gpt-oss-120b、o4-mini 等11个
    摘要提示注入被作者解释为角色感知失败:听起来像某角色,就在表示里成为该角色。

    作者把提示注入解释成角色感知失败:标签划出的权限没有进入模型的内部几何。

    深度解读完整解读
  8. 攻击arXiv 2602.18514

    招聘中的特洛伊木马:标准模型与推理模型间接提示注入的红队测试案例研究

    用简历中的不可见指令做间接提示注入,操纵招聘推荐

    发表
    被测模型
    Qwen 3 30B A3B Instruct 2507、Qwen 3 30B A3B Thinking 2507

    摘要作者称推理在简单注入下会帮攻击圆谎,在不合逻辑的复杂注入下又会把欺骗漏出来。

    深度解读完整解读
  9. 攻击arXiv 2602.07379

    Aegis:面向 AI 语音 Agent 的治理、完整性与安全

    提出 Aegis 红队框架,多轮攻击高风险语音 Agent

    发表
    场景
    AI Agent
    被测模型
    GPT-4o、GPT-4o-mini、Gemini-1.5 Pro 等7个
    摘要Aegis 红队评测三类语音智能体:查询式访问消掉认证与泄密成功,行为类攻击仍在。

    Aegis 用多轮红队评测已接入业务系统的 ALLM 语音智能体。作者称这是该设定下的 the first systematic red-teaming framework。

    深度解读完整解读
  10. 攻击arXiv 2602.00364

    「有人把它藏起来了」:针对 LLM 检索的查询无关黑盒攻击

    提出查询无关黑盒攻击 DQ-A,用可迁移文末后缀降低文档检索排名

    发表
    被测模型
    Qwen-1.5-7B-Instruct、SFR-Embedding-Mistral、E5-Mistral-7B-Instruct 等10个
    摘要DQ-A 以无查询黑盒后缀压低 LLM 检索排名,并在 BRIGHT 上比较三种基线。

    DQ-A 是一种 query-agnostic、complete black-box 的文档隐藏攻击,对象是用最后隐层相似度匹配的 LLM 检索。

    深度解读完整解读
  11. 攻击arXiv 2512.01335

    EmoRAG 研究揭示 RAG 检索对表情符号扰动的脆弱性

    提出 EmoRAG,向查询与知识库注入同一表情以劫持 RAG 检索

    发表
    被测模型
    SPECTER、Contriever、Qwen2-7B 等11个
    摘要EmoRAG 用表情联动查询与库文本。

    EmoRAG 测量 RAG 对符号扰动的反应:同一表情同时出现在查询和库文本里时,检索会偏离语义匹配。作者要检查的是,检索是否真由语义相关性决定。

    深度解读完整解读
  12. 攻击arXiv 2406.12814

    论文提出 ARE 框架,在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性

    提出 ARE 框架与图像文本攻击,评测多模态网页 Agent 的对抗鲁棒性

    发表
    场景
    web agent
    被测模型
    GPT-4o、GPT-4V、Claude-3-Opus 等4个

    摘要系统评估多模态网页智能体的脆弱性,指出推理时计算组件被攻破会加剧系统风险。

    深度解读完整解读
已经到底了