Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 27 papers

Another 213papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.09240

    WebMirage hijacks visual web agents' browser operations with adversarial images

    提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    Published
    Setting
    web agent
    Evaluated models
    LLaVA-v1.5-13B, LLaVA-v1.6-34B, MiniCPM-o-8B and others6
    Abstract论文提出了针对网络智能体的端到端视觉红队框架 WebMirage,揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.05601

    Tracer 框架可从遗忘后的扩散模型中识别被擦除概念

    提出 TRACER,从权重差识别扩散模型被擦除概念

    Published
    Attacker
    White-box
    Evaluated models
    Stable Diffusion v1.5, Stable Diffusion 3, FLUX.1 and others5
    AbstractTRACER 用权重足迹识别未披露擦除概念并估计个数,作者称数秒内完成且准确率高于对照。

    TRACER 针对的是遗忘扩散模型上的目标识别:提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆,只发布 W′。攻击者还有假定包含这些概念的词表,但不知擦了谁、擦了几个、用了什么算法。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.35912

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    Published
    Evaluated models
    GPT-5.6-sol, Kimi-K2.6, Kimi-K3 and others6

    Abstract论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    Paper analysisRead analysis
  4. AttacksarXiv 2609.27542

    Researchers use control token injection to delete gpt-oss-20b's reasoning chain and bypass chain-of-thought monitoring

    提出控制标记注入,清空工具 Agent 的思维链以绕过推理监控

    Published
    Setting
    AI Agent
    Evaluated models
    openai/gpt-oss-20b, google/gemma-4-26B-A4B-it, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B and others4

    Abstract论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    Paper analysisRead analysis
  5. AttacksarXiv 2609.08186

    论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式

    揭示推理加深引发的对齐坍塌,用 Reasoning Trap 放大越狱

    Published
    Evaluated models
    Qwen3-8B, Qwen3-14B, Llama2-7B and others8
    Abstract更深推理提升题目准确率,同时提高扰动下的相对损失。

    作者研究扩展推理是否以对齐稳健性为代价,提出 ALR、RT 与 RRA。。

    Paper analysisRead analysis
  6. AttacksarXiv 2609.04533

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    提出 Repeat-After-Me 自适应视觉提示注入,诱导 VLM 智能体执行指定任务

    Published
    Setting
    AI Agent
    Evaluated models
    Claude-Opus-4.7, GPT-5.5, Gemini-3.1-Pro and others6

    Abstract论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入,在多款模型上诱发了工具调用与隐私泄露。

    Paper analysisRead analysis
  7. AttacksarXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    Published
    Attacker
    Black-box
    Evaluated models
    CosyVoice2, F5-TTS, XTTS-v2
    Abstract黑盒 TTS 成员推断以 recitation 加分层语音表示为分数,说话人级强于记录级,DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架,分别审计说话人是否进入微调集,以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成,既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询,认为只有 recitation(用目标转写和干净目标语音要求模型复现)同时满足两条,并把它作为主查询。

    Paper analysisRead analysis
  8. AttacksarXiv 2607.00422

    KidnapRAG:黑盒投毒攻击劫持 Agentic RAG 的推理链

    提出 KidnapRAG,用投毒文档黑盒劫持 Agentic RAG 的推理链

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-32B-Instruct, Llama-3.3-70B-Instruct, QwQ-32B and others5
    Abstract顺序投毒可把多步推理拖向指定应答,作者称关键在持续引导而非单次注入。

    KidnapRAG 是针对 Agentic RAG 的 black-box 语料投毒:攻击者不能访问模型、提示词、检索器或私有轨迹,只能发布可能被检索的文档,并利用公开界面上的推理与搜索查询。

    Paper analysisRead analysis
  9. AttacksarXiv 2606.12716

    PaperGuard:针对多模态 AI 同行评审的攻击与防御基准

    提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令

    Published
    Evaluated models
    Claude-sonnet-4.5, GPT-4o, GPT-4.1 and others11
    AbstractPaperGuard 测到提示注入与白盒视觉抬分,并比较分块检索防御。

    PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。

    Paper analysisRead analysis
  10. AttacksarXiv 2604.05549

    Stop obsessing over prompts: reasoning hijacking and constraint tightening for red-teaming LLM agents

    提出 JailAgent,不改用户提示,经推理劫持与记忆投毒操纵 Agent 动作

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-3.5-turbo, GPT-4o, GPT-5 and others7
    AbstractJailAgent 不改提示词,用三阶段操纵推理与检索。

    JailAgent 是不修改用户原始提示词的 LLM 智能体红队框架。

    Paper analysisRead analysis
  11. AttacksarXiv 2603.16960

    Adversarial attacks against modern vision-language models

    Conduct adversarial attacks on product images for open-source visual shopping agents and induce wrong purchases

    Published
    Setting
    web agent
    Evaluated models
    LLaVA-v1.5-7B, Qwen2.5-VL-7B
    AbstractThe authors state that LLaVA is easily induced by three attacks to buy the wrong item, while Qwen's correct purchase rate remains close to its clean condition.

    The authors compare the robustness of two open-source VLM shopping agents against image adversarial perturbations in a self-built e-commerce environment.

    Paper analysisRead analysis
  12. AttacksarXiv 2603.12277

    Prompt injection is role confusion

    提出 CoT Forgery,经用户消息或工具输出注入伪造推理

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    gpt-oss-20b, gpt-oss-120b, o4-mini and others11
    Abstract提示注入被作者解释为角色感知失败:听起来像某角色,就在表示里成为该角色。

    作者把提示注入解释成角色感知失败:标签划出的权限没有进入模型的内部几何。

    Paper analysisRead analysis