跳到正文
10月10日 · 周六

全部论文

找到 24 篇
筛选6

攻击类型

提示注入18检测规避6

防御类型

指令与数据隔离5水印与溯源5

影响

越权操作11输出被操纵5

系统形态

模型与 API6LLM 应用16AI Agent98coding agent10web agent12网页与电脑操作6多智能体12

攻击面/入口

用户输入180网页与界面18文档与消息10工具返回7工具与技能描述3记忆写入2图像与音视频62训练数据54权重与梯度47分发渠道11推理服务与硬件11

层

模型层6应用层18

系统组件

视觉4多模态4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 242 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：web agent系统形态：网页与电脑操作攻击面/入口：网页与界面攻击面/入口：文档与消息攻击面/入口：记忆写入清除全部

另有 242 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 防御arXiv 2610.04763

    UT Austin 将 SynthID 水印嵌入基因组语言模型，凭 DNA 序列和密钥追溯 AI 生成片段

    把 SynthID 嵌入基因组语言模型采样，并用位置无关检测追溯生成序列

    arXiv
    2610.04763
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Carbon-500M、GENERator-v2-eukaryote-1.2b-base
    摘要两个六碱基基因组模型嵌入 SynthID 后，位置无关验证能找回水印，作者称这只是统计检测。

    作者在两个六碱基基因组模型的采样里嵌入 SynthID，并让验证者在不知道起点、链和 token phase 时做一次校正后的检出。

    深度解读完整解读
  8. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  10. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  11. 防御arXiv 2609.36372

    TTMark：超越单 token 熵的成对无失真水印

    提出成对无失真水印 TTMARK，增强低熵下的机器文本检测

    arXiv
    2609.36372
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama3.2-3B-Instruct、Mistral-v0.3-7B-Instruct、Qwen2.5-7B-Instruct
    摘要TTMARK 用水印化相邻 token 对利用条件熵，在多种无失真方案上提高检测并保持生成质量。

    TTMARK 是一种成对、无失真的文本水印：对相邻 token 的联合分布重加权，而不是逐 token 独立重加权。

    深度解读完整解读
  13. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  15. 防御arXiv 2609.14257

    DenMark：面向扩散语言模型的鲁棒语义水印

    提出 DenMark，在扩散语言模型去噪时注入可抵抗保义编辑的语义水印

    arXiv
    2609.14257
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    LLaDA-8B、LLaDA1.5-8B、LLaDA2.0-mini 等 4 个
    摘要DenMark 用 rollout 在 DLM 去噪中累积语义水印，扫描检测以抵抗保义编辑。

    DenMark 是面向扩散语言模型的语义水印：在去噪的局部更新里注入密钥相关语义信号，并在编辑改变 token 边界后仍检测。现有句子级语义水印要先完成整个语义单元再打分取舍，而 DLM 以任意顺序更新掩码，中间单元不完整。DenMark 把续写划成固定 token 区域，对每个局部候选做不提交的 rollout 补全，按语义分 gb 的平均选择更新，从而沿轨迹累积证据。

    深度解读完整解读
  18. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，以网页弹窗诱导 Web Agent 提交敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  19. 攻击arXiv 2608.04565

    研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

    提出权威链劫持与轨迹引导策略演化，劫持搜索 Agent 的证据链

    arXiv
    2608.04565
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Qwen3.5-9B、Gemma4-31B、DeepResearch 等 7 个

    摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。

    深度解读完整解读
  20. 评测与基准arXiv 2607.24177

    EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名

    提出 EXE-Bench 比较 Windows 恶意软件检测器的可用性权衡

    arXiv
    2607.24177
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    EmberGBDT、BBDnn、BBDnnFDRS 等 15 个
    摘要统一四指标后，手工特征的 EmberGBDT 综合居首，只看准确率会误导部署。

    EXE-Bench 用同一设置给 AI Windows 恶意软件检测器做四指标排序，而不是只比一次测试集准确率。。

    深度解读完整解读
加载更多