Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 28 papers

Another 215papers do not have category tags yet and are not included in filtered results.

  1. DefensesarXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    Published
    Evaluated models
    Claude Code (claude -p, version 2.1), 独立评审(同一 CLI,无工具)
    AbstractTracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    Paper analysisRead analysis
  2. VoxParity 评测:语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity,固定转写只改音频,评测语音智能体是否按行业规则改工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    MiMo-V2.6-Pro, gemini-3.7-flash, Qwen3.8-Omni and others15
    AbstractVoxParity 用固定转写的音频对比和 words-only null,测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时,是否按行业规则改它所执行的工具调用。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.27542

    Researchers use control token injection to delete gpt-oss-20b's reasoning chain and bypass chain-of-thought monitoring

    提出控制标记注入,清空工具 Agent 的思维链以绕过推理监控

    Published
    Setting
    AI Agent
    Evaluated models
    openai/gpt-oss-20b, google/gemma-4-26B-A4B-it, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B and others4

    Abstract论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    Paper analysisRead analysis
  4. OtherarXiv 2609.12413

    SoK 综述:智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线,并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis
  5. MMPIBench:多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.8, GPT-5.4, Gemini 3.1 Pro and others6

    Abstract论文提出 MMPIBench 评测多模态提示注入对智能体的影响,发现模型主导行为、尝试远超完成,音频通道缺乏防护。

    Paper analysisRead analysis
  6. DefensesarXiv 2609.04767

    SHAQ: Privacy-preserving retrieval in vector databases using shadow queries

    Proposes SHAQ, which replaces document embeddings with shadow query embeddings to defend against embedding inversion.

    Published
    Attacker
    Black-box
    Evaluated models
    GTR-T5 encoder, DPR
    AbstractSHAQ replaces document embeddings with shadow query embeddings.

    SHAQ is a defense against EIA for cloud vector databases: instead of directly modifying document embeddings, it replaces them with shadow query embeddings.

    Paper analysisRead analysis
  7. DefensesarXiv 2608.27348

    INTENT-AS-A-TOOL:用意图工具追踪智能体失准

    提出 INTENT-AS-A-TOOL,用意图工具概率跟踪并干预智能体失准

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma-4-31B-IT, Qwen3.5-27B, Qwen3-235B-A22B and others5
    Abstract用意图工具的下一动作概率跟踪推理中的失准承诺,并在其成为首选时插入反思。

    Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准,并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是:有害执行往往出现在推理已经形成意图之后,但 CoT 监控是事后、粗粒度、依赖外部评审的,也看不到模型倾向调用哪个动作。

    Paper analysisRead analysis
  8. SCHEMA:面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉

    Published
    Evaluated models
    Kimi-K2.5, Qwen3.6-Plus, Llama-4-Scout and others10
    AbstractSCHEMA 用知识拓扑评估科学智能体幻觉,终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架,实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    Paper analysisRead analysis
  9. AttacksarXiv 2607.00422

    KidnapRAG:黑盒投毒攻击劫持 Agentic RAG 的推理链

    提出 KidnapRAG,用投毒文档黑盒劫持 Agentic RAG 的推理链

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-32B-Instruct, Llama-3.3-70B-Instruct, QwQ-32B and others5
    Abstract顺序投毒可把多步推理拖向指定应答,作者称关键在持续引导而非单次注入。

    KidnapRAG 是针对 Agentic RAG 的 black-box 语料投毒:攻击者不能访问模型、提示词、检索器或私有轨迹,只能发布可能被检索的文档,并利用公开界面上的推理与搜索查询。

    Paper analysisRead analysis
  10. AttacksarXiv 2607.01276

    研究者提出嵌入推断攻击 EIA,可在黑盒 IR 系统中识别所用嵌入模型

    提出嵌入推断攻击 EIA,在黑盒 IR 中识别所用嵌入模型

    Published
    Attacker
    Black-box
    Evaluated models
    e5-small, e5-small-v2, e5-base and others19
    AbstractEIA 用无序文档集的差异从候选中识别嵌入模型,并给出 reranker 与阈值下的计数。

    EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。。

    Paper analysisRead analysis
  11. AttacksarXiv 2606.12716

    PaperGuard:针对多模态 AI 同行评审的攻击与防御基准

    提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令

    Published
    Evaluated models
    Claude-sonnet-4.5, GPT-4o, GPT-4.1 and others11
    AbstractPaperGuard 测到提示注入与白盒视觉抬分,并比较分块检索防御。

    PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。

    Paper analysisRead analysis
  12. AttacksarXiv 2605.28074

    SilentRetrieval: Hijacking retrieval-augmented generation with semantically preserved adversarial data poisoning

    提出 SilentRetrieval,以语义保持对抗文档投毒劫持 RAG 检索与生成

    Published
    Evaluated models
    Llama-2-7B-Chat, Mistral-7B-Instruct-v0.2, Qwen-7B-Chat and others10
    Abstract两阶段投毒在单文档协议下兼顾检索劫持、生成操纵与近良性困惑度。

    SilentRetrieval 是针对 RAG 的两阶段语料投毒,在每查询一篇、合成目标答案的统一协议下,同时处理检索劫持、生成操纵和流畅度。

    Paper analysisRead analysis
  13. AttacksarXiv 2604.05549

    Stop obsessing over prompts: reasoning hijacking and constraint tightening for red-teaming LLM agents

    提出 JailAgent,不改用户提示,经推理劫持与记忆投毒操纵 Agent 动作

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-3.5-turbo, GPT-4o, GPT-5 and others7
    AbstractJailAgent 不改提示词,用三阶段操纵推理与检索。

    JailAgent 是不修改用户原始提示词的 LLM 智能体红队框架。

    Paper analysisRead analysis