Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 23 papers
Filter3

Attack type

Jailbreaks11Prompt injection10

Attack technique

Cross-modal payloads3

Defense type

Instruction–data separation4Permissions and approval11

Impact

Harmful content6Unauthorized actions10Data and privacy leaks3

System type

Models and APIs7AI Agent16coding agent3

Attacker access

Black-box5

Attack surface / entry point

User input23Web pages and interfaces13Documents and messages11Tool responses23Tool and skill descriptions16Code repositories and dependencies6Retrieval corpus4Memory writes7Inter-agent messages8Images, audio and video21Distribution channels8

Layer

Prompt layer5Application layer16

System component

MCP and skills15Memory17RAG16Guardrails and judges80Monitors22Reasoning chains26Permissions and sandboxing16Fine-tuning and open weights12Vision39Audio8Image generation22Multimodal68
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 265papers have no tags yet and are not included in filtered results.
Attack surface / entry point：User inputSystem component：Permissions and sandboxingSystem component：AudioClear all

Another 265papers do not have category tags yet and are not included in filtered results.

  2. DefensesarXiv 2609.34518

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE

    arXiv
    2609.34518
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Luna, GPT-5.6 Terra, Gemini 3.8 Flash and others5

    Abstract论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。

    Paper analysisRead analysis
  4. DefensesarXiv 2609.33371

    论文提出保险库中介执行边界，评估 LLM Agent 的 API 凭据处理风险

    提出并评测保险库中介执行边界，隔离 Agent 的 API 凭据

    arXiv
    2609.33371
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Corvic Security Vault
    Abstract作者称，凭据分离可减少披露路径，但权限、操作授权和配置验证仍需独立控制。

    这是一项智能体 API 凭据威胁分析及 Vault 执行边界的功能评测。作者关心的不是模型能否承诺保密，而是认证材料是否会进入模型、日志、记忆和执行代码。

    Paper analysisRead analysis
  5. Risky behaviorarXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    arXiv
    2609.30266
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.6-Sol, GPT-6-Sol, Opus-5 and others11
    Abstract论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.28693

    skilder：以角色化技能包为工具型 LLM 智能体做访问控制

    提出 Skilder，按角色渐进下发企业工具并确定性拦截越权调用

    arXiv
    2609.28693
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Claude Haiku 4.5, Qwen 3.5 122B, Gemma 4 31B and others6
    AbstractSkilder 用单 MCP 服务器按角色交付工具并硬拦截。

    Skilder 把企业工具型智能体的能力按角色打包，经一个 MCP 服务器做渐进发现，使工具范围由服务器而不是提示词来执行。

    Paper analysisRead analysis
  8. DefensesarXiv 2609.24165

    APEXA 为同步辐射数据处理的 LLM 多智能体加装执行完整性护栏

    提出 APEXA，在工具层拒绝无执行支撑的结果并拦截电机命令

    arXiv
    2609.24165
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    GPT-5-mini, GPT-5.4, Claude Opus 4.7 and others4
    Abstract作者称执行是否发生要由工具层核对，而不能只靠提示词。

    APEXA 是先进光子源上的数据还原框架，用工具层代码约束语言模型智能体的工具调用。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.22573

    研究提出面向企业 MCP 的零信任授权与工具发现方案

    提出企业 MCP 零信任授权与发现扩展，在架构上拒绝提示注入下的越权调用

    arXiv
    2609.22573
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    gpt-5, claude-sonnet-4-6, claude-opus-4-7 and others6
    Abstract同一份按工具声明同时管 MCP 的发现、列表和调用，使注入不能扩大已有凭证的权限。

    作者把零信任放在 MCP 工具调用边界：智能体即使被提示注入，也不能调用其凭证范围之外的工具。问题来自三点部署性质。调用意图会随不可信上下文改变。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.14003

    FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露

    提出 FLOWSEAL，用工具级信息流控制阻断智能体隐私泄露

    arXiv
    2609.14003
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V3.2, GPT-4.1-mini, Gemini-Flash-2.5

    Abstract作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御 FLOWSEAL 并验证有效性。

    Paper analysisRead analysis
  13. AttacksarXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    arXiv
    2609.01723
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    CosyVoice2, F5-TTS, XTTS-v2
    Abstract黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。

    Paper analysisRead analysis
  15. DefensesarXiv 2609.29647

    AgentKernel：面向 Agent 的可信原生操作系统内核

    提出 AgentKernel，用四支柱强制中介 Agent 的输入、工具与记忆

    arXiv
    2609.29647
    Published
    Layer
    Application layer
    Setting
    AI Agent
    AbstractAgentKernel 是四支柱智能体 OS 设计，安全论证未附带实测数字。

    AgentKernel 是把安全做成组织原则的智能体 OS 架构，不是带跑分的攻防评测。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2606.06037

    SpeechJBB：语码转换语音下大型音频语言模型的越狱基准

    提出 SpeechJBB，评测语码转换语音下音频语言模型的越狱稳健性

    arXiv
    2606.06037
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2.5-Omni-7B, Qwen3-Omni-30B-A3B-Instruct, Voxtral-Small-24B and others9
    AbstractSpeechJBB 用五语语码转换语音和伪词探针评测九个 LALM，作者将越狱归为对齐失败而非听不懂。

    SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐，并另设口语理解对照。

    Paper analysisRead analysis
Load more