Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 16 papers

Another 233papers do not have category tags yet and are not included in filtered results.

  1. 研究提出 Agent 安全新维度:识别未履行的安全义务

    提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务

    Published
    Evaluated models
    ObligationGuard, Claude-Opus-4.8, GPT-5.6-Sol and others17
    Abstract义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。

    Paper analysisRead analysis
  2. 研究:大语言模型版本更替削弱 AI 辅助科研写作筛查

    测量 LLM 版本更替对科学摘要 AI 改写检测器的影响

    Published
    Evaluated models
    RoBERTa-base, Pangram
    Abstract作者称检测器的基准准确率只是临时的,每次发布都要连同更早版本重验。

    作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。

    Paper analysisRead analysis
  3. Study retests 15 prompt injection detectors: benchmark scores poorly predict agent deployment performance

    重测提示注入检测器在 Agent 工具输出上的检出与任务阻断

    Published
    Setting
    AI Agent
    Evaluated models
    Horizon-Labs, Wolf Defender, Prismor-1.5B and others15

    Abstract论文揭示公开基准无法反映智能体检测器表现,检测能力源于输入格式相似而非通用防御,建议基于工具输出与低误报评测。

    Paper analysisRead analysis
  4. PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench,评测提示注入检测器在过度防御与分布偏移下的表现

    Published
    Evaluated models
    TF-IDF + logistic regression, DistilBERT, DeBERTa-v3-FT and others7
    AbstractPIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准,用来在固定阈值下同时看提示注入检测和良性误报。

    Paper analysisRead analysis
  5. ACEA:面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA,分开计量攻击强度与防御效果

    Published
    Evaluated models
    openai/gpt-4o, google/gemini-2.5-pro, google/gemma-3-27b-it and others5
    AbstractACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地,把攻击强度和防御效果分开记分。作者要补三处空缺:双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉,拦截后又看不到攻击有多强。

    Paper analysisRead analysis
  6. DefensesarXiv 2609.04767

    SHAQ: Privacy-preserving retrieval in vector databases using shadow queries

    Proposes SHAQ, which replaces document embeddings with shadow query embeddings to defend against embedding inversion.

    Published
    Attacker
    Black-box
    Evaluated models
    GTR-T5 encoder, DPR
    AbstractSHAQ replaces document embeddings with shadow query embeddings.

    SHAQ is a defense against EIA for cloud vector databases: instead of directly modifying document embeddings, it replaces them with shadow query embeddings.

    Paper analysisRead analysis
  7. AttacksarXiv 2608.16246

    CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击

    提出 CompoSkill,将逐个通过扫描的技能编排为攻击链

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.4, Gemini-3.1-flash, DeepSeek-V4 and others4

    Abstract论文分析了智能体技能组合风险,指出单包安全认证状态不具备可组合性,需转向路径级防护。

    Paper analysisRead analysis
  8. BioSecBench-Refusal:面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal,评测智能体生物研发拒答与隐蔽危害识别

    Published
    Evaluated models
    Opus 4.8, Opus 4.7, Opus 4.6 and others10
    Abstract配对基准显示拒绝多由 API 触发,合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    Paper analysisRead analysis
  9. AttacksarXiv 2607.01276

    研究者提出嵌入推断攻击 EIA,可在黑盒 IR 系统中识别所用嵌入模型

    提出嵌入推断攻击 EIA,在黑盒 IR 中识别所用嵌入模型

    Published
    Attacker
    Black-box
    Evaluated models
    e5-small, e5-small-v2, e5-base and others19
    AbstractEIA 用无序文档集的差异从候选中识别嵌入模型,并给出 reranker 与阈值下的计数。

    EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。。

    Paper analysisRead analysis
  10. SkillVetBench:用 LLM-as-Judge 评估开源 LLM Agent 技能的多维安全风险

    提出 SkillVetBench 评估开源 Agent 技能的多维安全风险

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-14B-Instruct, Qwen2.5-32B, Llama-3.1-70B and others6

    Abstract公开排行榜用 LLM-as-Judge 给技能分列 SARS 与 CVSS,并对照市场官方审查。

    Paper analysisRead analysis
  11. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    Paper analysisRead analysis
  12. Safer Reasoning Traces: Measuring and Mitigating Chain-of-Thought Leakage in Large Language Models

    测量思维链将提示中 PII 复述进轨迹的泄漏并评测轻量检测器

    Published
    Evaluated models
    Llama 3.3:70B, Claude Opus, Mixtral 8×22B and others7
    Abstract作者称 CoT 抬高逐字泄漏且随模型与预算而变,检测器也需按模型选择。

    在“不要复述 PII”的输出策略下,本文用 black-box 协议测量提示词中的 PII 被写回 CoT 与答案的情况,并比较轻量 gatekeeper。

    Paper analysisRead analysis
  13. AttacksarXiv 2602.01757

    Zero2Text: Training-Free Cross-Domain Text Embedding Inversion Attack

    提出 Zero2Text,无需训练地跨域反演文本嵌入

    Published
    Attacker
    Black-box
    Evaluated models
    GTR-Base, Qwen3-Embedding-0.6B, Text-Embedding-3-small and others4
    Abstract零训练在线对齐可在未知域、无泄漏对时从黑盒 embedding 还原句子。

    Zero2Text 是一种不训练 decoder、也不使用泄漏文本–向量对的文本 embedding 反演,针对 RAG 向量库在严格黑盒、目标域未知时的还原。

    Paper analysisRead analysis
You have reached the end