Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 45 papers

Another 233papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.12524

    An exploration of attacks on AI agent systems

    重测并扩展对 AI Agent 的提示注入,并用 Agent Card 欺骗操纵 A2A 选择

    Published
    Setting
    AI Agent
    Evaluated models
    Ollama Mistral 0.9.5, llama3-8b-8192, gemini-2.0-flash-lite and others5
    Abstract单智能体过滤与分类可被格式或措辞绕过,A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入,并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点,同时把攻击扩到多智能体。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.07510

    PersistBD: attackers can strengthen backdoors before release so that they maintain high attack success rates even after developer SFT and RL.

    提出 PERSISTBD,发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    Published
    Evaluated models
    Qwen2.5-Coder-3B-Instruct, Qwen2.5-Coder-7B-Instruct, Qwen3-Coder-30B-A3B-Instruct
    Abstract总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调(SFT)和强化学习(RL)后训练时的后门持久性风险。

    Paper analysisRead analysis
  3. AttacksarXiv 2610.05601

    Tracer 框架可从遗忘后的扩散模型中识别被擦除概念

    提出 TRACER,从权重差识别扩散模型被擦除概念

    Published
    Attacker
    White-box
    Evaluated models
    Stable Diffusion v1.5, Stable Diffusion 3, FLUX.1 and others5
    AbstractTRACER 用权重足迹识别未披露擦除概念并估计个数,作者称数秒内完成且准确率高于对照。

    TRACER 针对的是遗忘扩散模型上的目标识别:提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆,只发布 W′。攻击者还有假定包含这些概念的词表,但不知擦了谁、擦了几个、用了什么算法。

    Paper analysisRead analysis
  4. AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 基准,评测联网搜索 Agent 对匿名访谈的再识别

    Published
    Setting
    web agent
    Evaluated models
    GPT-5.6 Terra, GPT-5 Mini, GPT-4.1 Mini and others10

    Abstract论文提出了已知身份的重识别基准 AGENTDOXX,揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    Paper analysisRead analysis
  5. AttacksarXiv 2610.04589

    StegoMemory red team testing: agent persistent memory can be used as a cross-session covert channel

    提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道

    Published
    Setting
    AI Agent
    Evaluated models
    Llama 3.1 405B, Claude 3.5 Sonnet, GPT-4o and others13

    Abstract研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。

    Paper analysisRead analysis
  6. AttacksarXiv 2610.01768

    LLMLeak:借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak,借合法网页抓取把 URL 中的秘密隐蔽外传

    Published
    Evaluated models
    Meta-Llama-3.3-70B-Instruct, Meta-Llama-4-Scout-17B-16E-Instruct, Meta-Llama-3.1-8B-Instruct and others18
    Abstract作者称第三方外传可发生于正常网页获取,防护需考虑工具请求而不只考虑提示注入。

    LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。

    Paper analysisRead analysis
  7. AttacksarXiv 2609.36941

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据

    Published
    Attacker
    Black-box
    Evaluated models
    DeepSeek-Coder-7B, LLaMA-3-8B, Qwen2.5-Coder-7B and others6

    Abstract论文提出扰动蒸馏与离线过滤两阶段框架,实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。

    Paper analysisRead analysis
  8. AttacksarXiv 2609.36331

    无需参考模型:用邻居样本校准单轮成员推理攻击

    提出用邻居分数替代参考模型的单轮成员推断

    Published
    Attacker
    Black-box
    Evaluated models
    目标分类模型(架构与训练流程遵循 Aerni et al.)
    Abstract邻居查询在单模型上恢复逐样本校准,合成邻居加早期检查点最接近 LiRA。

    本文研究 one-round 成员推断:只有一个目标模型、不能再训练参考模型时,如何仍做逐样本校准,并用于单次运行的 DP 审计。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.36326

    PILLAR:面向增强检索的私有倒排索引词法查找

    提出 PILLAR,用私有词法预筛与客户端重排保护 RAG 查询

    Published
    AbstractPILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排,在两基准上换取延迟或质量。

    PILLAR 是面向公开语料的隐私 RAG:半诚实服务器学不到查询词项和访问模式,客户端仍拿到用于增强生成的 k 篇文档。

    Paper analysisRead analysis
  10. DefensesarXiv 2609.33371

    论文提出保险库中介执行边界,评估 LLM Agent 的 API 凭据处理风险

    提出并评测保险库中介执行边界,隔离 Agent 的 API 凭据

    Published
    Setting
    AI Agent
    Evaluated models
    Corvic Security Vault
    Abstract作者称,凭据分离可减少披露路径,但权限、操作授权和配置验证仍需独立控制。

    这是一项智能体 API 凭据威胁分析及 Vault 执行边界的功能评测。作者关心的不是模型能否承诺保密,而是认证材料是否会进入模型、日志、记忆和执行代码。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.31056

    SCALPEL:用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL,用对比 SAE 在表征层选择性遗忘特定事实

    Published
    Evaluated models
    Qwen2.5-1.5B-Instruct, Llama-3.2-1B-Instruct, Gemma-2-2B-it
    AbstractSCALPEL 以对比稀疏特征做窄目标表征遗忘,在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法,面向与保留数据重叠的窄目标。

    Paper analysisRead analysis
  12. AttacksarXiv 2609.14649

    CIG-MIA:利用上下文信息增益对 RAG 系统发起成员推断攻击

    提出 CIG-MIA,用上下文信息增益推断 RAG 知识库成员身份

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-2-13b-chat-hf and others6
    AbstractCIG-MIA 用注入前后的答案似然差推断 RAG 库成员,灰盒可分性高于所列基线。

    CIG-MIA 是针对 RAG 外部知识库的成员推断攻击,同时覆盖灰盒和纯文本黑盒。

    Paper analysisRead analysis
  13. DefensesarXiv 2609.14003

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    提出 FLOWSEAL,用工具级信息流控制阻断智能体隐私泄露

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V3.2, GPT-4.1-mini, Gemini-Flash-2.5

    Abstract作者分析大模型智能体隐私检查与攻击面重合问题,提出外部拦截防御 FLOWSEAL 并验证有效性。

    Paper analysisRead analysis