跳到正文
10月9日 · 周五

全部论文

找到 39 篇

另有 648 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉安全分,发现偏离主要来自场景模板与视角

    发表
    测试
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B 等 6 个
    摘要论文审计了冻结 VLM 安全评分机制,指出其反映场景模板而非危险感知,为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型(VLM)安全评分机制的实证审计研究。

    深度解读完整解读
  2. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 时序监控,用 MonPoly 检出工具 Agent 的危险动作链

    发表
    场景
    AI Agent
    测试
    Sonnet-3.5、GPT-4o
    摘要形式化验证可有效识别多步攻击,但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  3. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    发表
    测试
    Claude Sonnet 5、Opus 5、GPT-5.6 Sol 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道,指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  4. Sleight-Bench:40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH,评测代码智能体监控器的概念盲点

    发表
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准,发现前沿监控器漏报率高,算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  5. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统,在 7200 台主机部署十个月

    提出企业级检测系统 ADR,检测编程 Agent 的提示注入与恶意 MCP

    发表
    测试
    Claude Sonnet 4、GPT-4o、Llama Guard 3-8B 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统,并在生产环境中验证了有效性。

    深度解读完整解读
  6. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA,在边界动作前审计长流程智能体的分段提示注入

    发表
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Claude Sonnet 5、Claude Opus 4.8 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA,在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  7. 风险行为arXiv 2609.39050

    研究:九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    发表
    测试
    Claude Sonnet 4.5、Gemini 3.1 Pro、DeepSeek-V4-Pro 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控,主张不能单靠内容审查,需在动作层强化严格鉴权。

    深度解读完整解读
  8. 防御arXiv 2608.25460

    用强化学习训练对齐审计员:成对奖励加校准让 Haiku 4.5 追平 Opus 4.6

    用成对比较奖励与假阳性校准训练对齐审计模型

    发表
    场景
    AI Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.6、Claude Opus 4.7 等 15 个

    摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。

    深度解读完整解读
  9. 防御arXiv 2609.05797

    论文发现安全监控器主要拦截模型本就会拒答的请求

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    发表
    测试
    Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个

    摘要论文发现安全监视器大多拦截模型已拒答请求,指出明确度偏差是共性原因,并通过双侧梯级微调提升回答请求的召回表现。

    深度解读完整解读
  10. 防御arXiv 2608.21101

    ClawSentry:面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 渐进式多层监控网关,拦截恶意技能包与上下文注入

    发表
    测试
    gemini-3.5-flash、Codex/GPT-5.4、Codex/GPT-5.5 等 7 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过,压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关,用来同时盖住 skill 执行的多个生命周期边界,并把已被拒绝的效果记到会话里。

    深度解读完整解读
  11. 防御arXiv 2607.14737

    GeoDetect:面向视觉语言预训练模型的几何对抗检测方法

    提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本

    发表
    攻击者
    白盒
    测试
    CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等 4 个
    摘要GeoDetect 用几何分数检测 VLP 对抗样本。

    GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法,用嵌入几何而不是任务 logits 区分干净样本与对抗样本。

    深度解读完整解读
  12. 攻击arXiv 2609.27542

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    提出控制标记注入,清空工具智能体推理链以绕过思维链监控

    发表
    场景
    AI Agent
    测试
    google/gemma-4-26B-A4B-it、openai/gpt-oss-20b、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个

    摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过,且工具执行受解析器宽容度影响。

    深度解读完整解读
  13. 攻击arXiv 2609.15989

    研究者提出 plan injection 攻击,可绕过思维链监控

    提出 plan injection 攻击,植入良性伪装计划以绕过思维链监视器

    发表
    攻击者
    灰盒
    测试
    Claude Sonnet 4、Claude Sonnet 5、Qwen2.5-Coder-7B-Instruct 等 6 个

    摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理,使思维链监视器失效甚至反向合理化恶意行为。

    深度解读完整解读
  14. 防御arXiv 2604.11806

    Meerkat:跨大量 Agent 轨迹检测安全违规

    提出 Meerkat,聚类并用智能体搜索审计 Agent 轨迹库的跨轨迹违规

    发表
    场景
    AI Agent
    测试
    Claude Opus 4.6、claude-3-5-sonnet-20241022、GPT-5.4 等 8 个
    摘要Meerkat 用聚类与智能体搜索定位跨轨迹违规,并在真实评测轨迹中找出脚手架泄题与奖励黑客。

    Meerkat 是事后审计方法,用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。

    深度解读完整解读
  15. Mole:面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准,评测监控器对智能体内部威胁的检出能力

    发表
    测试
    Claude Opus 4.7、Claude Opus 4.8、Claude Sonnet 4.5 等 15 个
    摘要MOLE 构建了智能体内部威胁检测基准,作者指出高漏检现状与推理痕迹的防御价值,并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准,旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    深度解读完整解读
  16. 防御arXiv 2609.19587

    红队测试 Auto Mode:用注入与多上下文攻击绕过编码 Agent 阻断监控器

    提出 Auto Mode ++,加固编码 Agent 的阻断监视器

    发表
    测试
    Opus 5、Opus 4.8、Opus 4.7 等 8 个

    摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现,提出加固防御并指明多上下文防御挑战。

    深度解读完整解读