Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 23 papers

Another 240papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.12524

    An exploration of attacks on AI agent systems

    重测并扩展对 AI Agent 的提示注入,并用 Agent Card 欺骗操纵 A2A 选择

    Published
    Setting
    AI Agent
    Evaluated models
    Ollama Mistral 0.9.5, llama3-8b-8192, gemini-2.0-flash-lite and others5
    Abstract单智能体过滤与分类可被格式或措辞绕过,A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入,并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点,同时把攻击扩到多智能体。

    Paper analysisRead analysis
  2. AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 基准,评测联网搜索 Agent 对匿名访谈的再识别

    Published
    Setting
    web agent
    Evaluated models
    GPT-5.6 Terra, GPT-5 Mini, GPT-4.1 Mini and others10

    Abstract论文提出了已知身份的重识别基准 AGENTDOXX,揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    Paper analysisRead analysis
  3. AttacksarXiv 2610.04589

    StegoMemory red team testing: agent persistent memory can be used as a cross-session covert channel

    提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道

    Published
    Setting
    AI Agent
    Evaluated models
    Llama 3.1 405B, Claude 3.5 Sonnet, GPT-4o and others13

    Abstract研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。

    Paper analysisRead analysis
  4. AttacksarXiv 2610.01768

    LLMLeak:借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak,借合法网页抓取把 URL 中的秘密隐蔽外传

    Published
    Evaluated models
    Meta-Llama-3.3-70B-Instruct, Meta-Llama-4-Scout-17B-16E-Instruct, Meta-Llama-3.1-8B-Instruct and others18
    Abstract作者称第三方外传可发生于正常网页获取,防护需考虑工具请求而不只考虑提示注入。

    LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。

    Paper analysisRead analysis
  5. DefensesarXiv 2609.36326

    PILLAR:面向增强检索的私有倒排索引词法查找

    提出 PILLAR,用私有词法预筛与客户端重排保护 RAG 查询

    Published
    AbstractPILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排,在两基准上换取延迟或质量。

    PILLAR 是面向公开语料的隐私 RAG:半诚实服务器学不到查询词项和访问模式,客户端仍拿到用于增强生成的 k 篇文档。

    Paper analysisRead analysis
  6. DefensesarXiv 2609.33371

    论文提出保险库中介执行边界,评估 LLM Agent 的 API 凭据处理风险

    提出并评测保险库中介执行边界,隔离 Agent 的 API 凭据

    Published
    Setting
    AI Agent
    Evaluated models
    Corvic Security Vault
    Abstract作者称,凭据分离可减少披露路径,但权限、操作授权和配置验证仍需独立控制。

    这是一项智能体 API 凭据威胁分析及 Vault 执行边界的功能评测。作者关心的不是模型能否承诺保密,而是认证材料是否会进入模型、日志、记忆和执行代码。

    Paper analysisRead analysis
  7. AttacksarXiv 2609.14649

    CIG-MIA:利用上下文信息增益对 RAG 系统发起成员推断攻击

    提出 CIG-MIA,用上下文信息增益推断 RAG 知识库成员身份

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-2-13b-chat-hf and others6
    AbstractCIG-MIA 用注入前后的答案似然差推断 RAG 库成员,灰盒可分性高于所列基线。

    CIG-MIA 是针对 RAG 外部知识库的成员推断攻击,同时覆盖灰盒和纯文本黑盒。

    Paper analysisRead analysis
  8. DefensesarXiv 2609.14003

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    提出 FLOWSEAL,用工具级信息流控制阻断智能体隐私泄露

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V3.2, GPT-4.1-mini, Gemini-Flash-2.5

    Abstract作者分析大模型智能体隐私检查与攻击面重合问题,提出外部拦截防御 FLOWSEAL 并验证有效性。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.10992

    拆解 LLM 交互中的隐私-效用权衡:Veilmind-4B 意图驱动本地保护框架

    提出意图驱动本地框架 Veilmind,净化发往远程模型的提示词

    Published
    Evaluated models
    Veilmind-4B
    Abstract本地模型按意图净化提示词,在 Uprise 上给出两个隐私-效用工作点。

    本地侧的意图驱动净化,用来降低用户提示词发往不受信任远程模型时的敏感属性暴露。

    Paper analysisRead analysis
  10. AttacksarXiv 2608.16246

    CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击

    提出 CompoSkill,将逐个通过扫描的技能编排为攻击链

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.4, Gemini-3.1-flash, DeepSeek-V4 and others4

    Abstract论文分析了智能体技能组合风险,指出单包安全认证状态不具备可组合性,需转向路径级防护。

    Paper analysisRead analysis
  11. AttacksarXiv 2608.09577

    ElasticBack:通过触发词与规则耦合在 LLM Agent 技能中植入条件后门

    提出 ElasticBack,在单个 Agent 技能中植入条件后门

    Published
    Evaluated models
    GLM-5.2, MiniMax-M3, GPT-5.4 and others4
    AbstractElasticBack 用冻结规则加遗传搜索演化 trigger,在单 skill 上做条件后门。

    ElasticBack 是放在 LLM agent 单个 skill 里的条件后门攻击。。

    Paper analysisRead analysis
  12. AttacksarXiv 2608.04192

    研究者提出 SkillClone,仅凭正常提问即可克隆 LLM Agent 隐藏技能功能

    提出 SkillClone,仅凭良性任务交互重构闭源 Agent 技能

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    DeepSeek-Flash, DeepSeek-Pro, GLM-5.1 and others5
    Abstract论文揭示了仅靠良性任务交互即可重构闭源智能体技能隐藏功能的风险,表明功能保密需要限制累积信息泄露。

    论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。

    Paper analysisRead analysis
  13. AttacksarXiv 2607.25560

    SigLeak 可从执行轨迹推断专有 Agent 技能

    提出 SigLeak,从黑盒 Agent 执行轨迹推断专有技能

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.4-mini, GPT-5.5, GLM-5.2 and others4

    Abstract提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架,揭示了智能体执行可见性带来的行为侧信道泄露风险。

    Paper analysisRead analysis
  14. AttacksarXiv 2607.01276

    研究者提出嵌入推断攻击 EIA,可在黑盒 IR 系统中识别所用嵌入模型

    提出嵌入推断攻击 EIA,在黑盒 IR 中识别所用嵌入模型

    Published
    Attacker
    Black-box
    Evaluated models
    e5-small, e5-small-v2, e5-base and others19
    AbstractEIA 用无序文档集的差异从候选中识别嵌入模型,并给出 reranker 与阈值下的计数。

    EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。。

    Paper analysisRead analysis
  15. DefensesarXiv 2606.18673

    Understanding and mitigating prompt leakage attacks in real-world LLM applications

    Propose soft prompt defense AREA, re-anchoring attention to mitigate system prompt leakage

    Published
    Attacker
    Black-box
    Evaluated models
    Llama-2-7B-chat-hf, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3 and others8
    AbstractThe authors measure commercial prompt leakage, propose attention drift, and use AREA to strike a trade-off between usability and leakage resistance.

    The authors study system prompt leakage in real LLM applications and propose AREA, a mitigation method that does not modify weights.

    Paper analysisRead analysis
  16. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    Paper analysisRead analysis