Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 51 papers

Another 201papers do not have category tags yet and are not included in filtered results.

  1. 研究者提出统一滥用监控基准,覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标,统一评测分解攻击和提示注入下的智能体滥用监视

    Published
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架,动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.05943

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    提出 CRIME 框架,组合良性 Agent 技能诱发恶意行为

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Flash, GPT-4o-mini, GPT-4o and others6
    Abstract良性技能经 DCA 或 ACA 组合后可产生恶意环境后果,单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合,看联合执行能否实现指定恶意任务。。

    Paper analysisRead analysis
  3. AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 基准,评测联网搜索 Agent 对匿名访谈的再识别

    Published
    Setting
    web agent
    Evaluated models
    GPT-5.6 Terra, GPT-5 Mini, GPT-4.1 Mini and others10

    Abstract论文提出了已知身份的重识别基准 AGENTDOXX,揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.03434

    Persona Guardrail:面向智能体系统的生产级防御框架

    提出 Persona Guardrail,强制客服智能体守住功能边界

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    Qwen3-30B-A3B, Qwen3-VL-30B, Qwen3-8B and others5
    AbstractPersona Guardrail 用功能边界做同步输入输出校验,并在 PAGE 与生产延迟预算下给出评测。

    Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。

    Paper analysisRead analysis
  5. AttacksarXiv 2610.01768

    LLMLeak:借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak,借合法网页抓取把 URL 中的秘密隐蔽外传

    Published
    Evaluated models
    Meta-Llama-3.3-70B-Instruct, Meta-Llama-4-Scout-17B-16E-Instruct, Meta-Llama-3.1-8B-Instruct and others18
    Abstract作者称第三方外传可发生于正常网页获取,防护需考虑工具请求而不只考虑提示注入。

    LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。

    Paper analysisRead analysis
  6. 研究揭示工具智能体中越狱上下文残留导致的安全路由分化

    用配对续写与激活修补分析工具智能体越狱后的安全路由

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3-14B, Qwen3.5-9B, Qwen3.5-27B and others8
    Abstract越狱后的同一安全反馈在八个工具智能体上分成三条路由,因果集中在最后几层并可作预测基线。

    这篇工作把越狱上下文残留之后的运行时安全反馈,做成工具智能体上的三路路由问题,并用激活修补给这个路由一个晚层的因果位点。作者认为,反馈可能恢复合法执行、留下未授权动作,或误伤良性流程,而现有攻击、基准和静态护栏没有在固定历史上把这三种结局分开。配对续写因此从同一冻结检查点分别接中性提醒 N 和安全反馈 S,并交叉保留越狱 J+ 与中和越狱 J0。

    Paper analysisRead analysis
  7. DefensesarXiv 2609.34518

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Luna, GPT-5.6 Terra, Gemini 3.8 Flash and others5

    Abstract论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE,实验显示执行反馈与环境探测在攻防交互中具有关键作用。

    Paper analysisRead analysis
  8. ORBIT:基于 UK AISI Inspect 的多智能体安全评测框架

    提出 ORBIT 框架,评测多智能体防御对合谋等威胁的效果

    Published
    Evaluated models
    GPT-5.4, Claude Sonnet 4.6, Qwen3-235B and others5

    AbstractORBIT 用六层配置比较多智能体防御,逐动作监控不迁移到合谋。

    Paper analysisRead analysis
  9. 研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测试编程智能体被诱导或自主篡改自身执行轨迹的行为

    Published
    Evaluated models
    GPT-5.6-Sol, GPT-6-Sol, Opus-5 and others11
    Abstract论文评估了本地智能体的轨迹防篡改能力,发现其可因外部指令或奖励追求而清除执行证据,亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    Paper analysisRead analysis
  10. DefensesarXiv 2609.28693

    skilder:以角色化技能包为工具型 LLM 智能体做访问控制

    提出 Skilder,按角色渐进下发企业工具并确定性拦截越权调用

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Haiku 4.5, Qwen 3.5 122B, Gemma 4 31B and others6
    AbstractSkilder 用单 MCP 服务器按角色交付工具并硬拦截。

    Skilder 把企业工具型智能体的能力按角色打包,经一个 MCP 服务器做渐进发现,使工具范围由服务器而不是提示词来执行。

    Paper analysisRead analysis
  11. CART:面向大语言模型的闭环自适应红队框架

    提出闭环自适应红队框架 CART,评测模型与 Agent 的安全失败

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.8, GPT-5.5, Grok 4.3 and others7
    AbstractCART 把红队做成可审计的闭环搜索,在三类评测上比静态回放发现更多失败与更高平均风险。

    CART 把自动红队从一次清单式打分,改成带预算、可追溯的闭环搜索。

    Paper analysisRead analysis
  12. DefensesarXiv 2609.22724

    MATE:面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略

    Published
    Attacker
    Black-box
    Evaluated models
    MATE-0.5B, MATE-1.5B, MATE-3B
    AbstractMATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    Paper analysisRead analysis
  13. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,拆分任务向对齐模型套取能力

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.14003

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    提出 FLOWSEAL,用工具级信息流控制阻断智能体隐私泄露

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V3.2, GPT-4.1-mini, Gemini-Flash-2.5

    Abstract作者分析大模型智能体隐私检查与攻击面重合问题,提出外部拦截防御 FLOWSEAL 并验证有效性。

    Paper analysisRead analysis
  15. OtherarXiv 2609.12413

    SoK 综述:智能体 AI 时代的越狱攻击、防御与实践考量

    系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.5-4B, Llama-3.1-8B-Instruct
    AbstractSoK 将越狱重放到智能体流水线,并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。

    Paper analysisRead analysis