跳到正文
10月8日 · 周四

提示注入 · 论文

找到 2 篇
筛选1
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。
  1. 评测与基准arXiv:2609.02316 ·

    Counter-GEO-Bench:现有护栏难挡 GEO 虚假信息,C-GEO Guard 将攻击成功率相对降低 47.6%

    构建COUNTER-GEO-BENCH,评测生成式搜索对信息扭曲GEO的防御

    测试
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个应用层
    摘要论文构建了针对 GEO 虚假信息的首个防御基准,揭示通用护栏的失效与反作用,并提出了有效的轻量对比检测基线。
    • 论文定位:论文构建了评估针对生成式引擎优化(GEO)隐蔽虚假信息攻击的防御基准 COUNTER-GEO-BENCH,并提出了轻量分块级防御基线 C-GEO Guard。
    • 核心问题:攻击者利用良性 GEO 优化策略将针对性虚假事实伪装成合规且流畅的网页内容,经正常检索进入生成式搜索引擎摘要阶段并误导受害 LLM;现有安全护栏主要针对毒性与策略违规,在此类事实扭曲威胁下缺乏拦截能力。
    • 方法要点:通过双配对机制(信息保留 IP 与信息扭曲 ID)隔离虚假信息效应与 GEO 可见性增益,结合四维几何平均质量门控与人工核验构建 247 个高质量查询实例;提出参数量仅 184M 的 C-GEO Guard,利用对比学习提取攻击类别原型向量进行检索分块过滤。
    • 关键实验结果:
      • 未防御流水线在三款开源 LLM 上的平均 ASR 达 55.7%(Table 3)。
      • Granite Guardian 与 Llama Guard 3 仅使平均 ASR 分别降低 1.7 与 3.2 个百分点,且 Granite Guardian 在 Llama-4 上误删反驳分块导致 74 个查询恶化,充当了攻击放大器(Table 3,§6.2)。
      • C-GEO Guard 将三模型平均 ASR 降至 29.2%(绝对降幅 26.5 个百分点,相对下降 47.6%),在保持回答质量与准确率的同时,跨模型迁移至 GPT 5.5 重写时 ASR 仍降至 22.1%(Table 3,Table 6)。
    • 作者结论与启示:作者认为安全分类护栏与同上下文蕴含检查无法有效抵御 GEO 虚假信息,但通过定向对比表征能够以较小算力代价实现有效拦截,未来亟需结合跨源分歧量化与外部核验构建纵深防御体系(§7,§8)。
    完整解读
  2. 攻击arXiv:2609.22510 ·

    特拉维夫大学提出爆炸性提示词:条件触发的间接提示注入可绕过九款生产 Agent

    提出爆炸提示词,用条件触发的间接注入延迟诱发恶意工具调用

    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个应用层
    场景
    AI Agent
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具,提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁,研究了利用条件句式实现时间分离的爆炸提示词。

    完整解读
已经到底了