跳到正文
10月10日 · 周六

全部论文

找到 35 篇

另有 194 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 防御arXiv 2610.11634

    LTBD:用可学习信任边界分隔符防御提示注入

    提出 LTBD,用可学习分隔符隔离可信指令与不可信数据

    发表
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  2. 攻击arXiv 2610.05266

    论文披露主动式智能体的服务方间接提示注入攻击

    提出服务方间接提示注入,把主动智能体的决策协助转向预选目标

    发表
    场景
    AI Agent
    被测模型
    GPT-5、Claude Opus 4.6、Gemini 3 Pro 等 7 个
    摘要提供者侧间接注入用 T–B–S 把主动协助转向外部目标,并在三环境中提高模拟用户授权。

    外部提供者只控制与自身目标关联的内容,就可以把良性主动个人智能体的协助转向该目标。

    深度解读完整解读
  3. 评测与基准arXiv 2609.39146

    MADBench:多智能体辩论安全性评测基准发布

    提出 MADBench,评测多智能体辩论是吸收还是放大对抗影响

    发表
    被测模型
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击,同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准,用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
  4. 防御arXiv 2610.00327

    Actions with Receipts:为工具智能体审计绑定声明、证据与执行

    提出 EC-Agent 联合回执,绑定工具智能体的主张、证据与执行并支持重放审计

    发表
    场景
    AI Agent
    摘要EC-Agent 把主张、片段、执行前缀和来源状态绑成可重放回执,并把完整性与语义支持分开判定。

    EC-Agent 为工具智能体的审计增加一份可重放的联合回执:它同时绑定发出的主张、精确来源片段、有序执行前缀,以及该次执行看到的来源版本和访问状态。

    深度解读完整解读
  5. 防御arXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    发表
    被测模型
    Claude Code (claude -p, version 2.1)、独立评审(同一 CLI,无工具)
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    深度解读完整解读
  6. 攻击arXiv 2609.28613

    研究:提示注入可改变 Jev 决策模型的行动概率

    测量间接提示注入对类型化概率决策的动作劫持

    发表
    被测模型
    jev-1.13.0
    摘要封闭动作集改变提示注入的表现,但没有去掉概率被不可信内容移动的风险。

    作者在 jev-1.13.0 上研究 decision hijacking:不可信内容能否在用户任务和可选动作都不变时,把类型化决策推向攻击者目标。

    深度解读完整解读
  7. 分析与理论arXiv 2609.23215

    研究审计 Active Inference Agent 的 LLM 解释器失败模式

    审计 Active Inference Agent 上 LLM 解释器的监督叙述失败

    发表
    被测模型
    GPT-4o、Claude-3-Opus、Gemini
    摘要三组触发下解释流畅但错误,所提缓解都未被评估。

    作者审计的是挂在智能体上的运行时解释器,而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败,以及失败痕迹是什么样。

    深度解读完整解读
  8. 攻击arXiv 2609.19722

    ALIBI:向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判

    提出 ALIBI,向恶意二进制注入不执行掩护叙事使分析器误判为良性

    发表
    攻击者
    黑盒
    被测模型
    Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7
    摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据,Gemini 上翻转多,另两模型主要为降级。

    ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击:不覆盖系统指令,而把仍可见的可疑静态证据重释成良性安全产品的预期行为。

    深度解读完整解读
  9. 评测与基准arXiv 2609.17320

    Emergence World:对长时程多智能体系统开展对抗压力测试

    提出 Emergence World,对长时程多智能体系统开展对抗压力测试

    发表
    被测模型
    Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性,单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
  10. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 AP2 支付协议的 Whisper 攻击与 A-VIP 绑定防御

    发表
    场景
    AI Agent
    被测模型
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险,提出结构化与权能绑定防御 A-VIP,并发布评测基准。

    深度解读完整解读
  11. 防御arXiv 2609.08394

    Windows 恶意软件检测器作为复合 AI 系统:准确率、效率与对抗鲁棒性的权衡

    提出 OBELISK 三级流水线,权衡恶意软件检测的准确率、开销与鲁棒性

    发表
    攻击者
    白盒、黑盒
    被测模型
    GBDT-ALL、GBDT-YARA、NEBULA-ALL 等 4 个
    摘要三级过滤以不大的检测损失换速度,同一机制扩大攻击面,部署应按约束选配置。

    OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线,用来同时看检出、计算开销和对抗鲁棒性。

    深度解读完整解读
  12. 研究评测 14 个模型对不可靠工具的过度依赖

    用受控污染评测智能体对不可靠工具返回的过度依赖

    发表
    场景
    AI Agent
    被测模型
    Qwen3-235B、Qwen3-235B-Think、Qwen3-30B 等 15 个
    摘要三种工具的污染返回常被写入答案。

    作者评测 LLM 智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确,而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。评测只改答案相关内容。

    深度解读完整解读
  13. 评测与基准arXiv 2608.28411

    LongPIBench:面向长上下文提示注入的评测基准

    提出 LongPIBench,评测长文档场景下的提示注入攻击与防御

    发表
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个

    摘要论文构建长文本提示注入基准 LongPIBench,揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。

    深度解读完整解读