Failure-First 分析为何推理模型更易受多轮攻击
Why Reasoning Models Are More Vulnerable to Multi-Turn Attacks
AI summary
Failure-First 汇总其 arXiv 论文的初步发现，报告推理模型在多轮升级攻击下比小模型更易被攻破。测试中，Crescendo 攻击对 DeepSeek-R1 的攻击成功率约为 80% 至 90%，对 Llama 3.2 3B 约为 10%；skeleton key 攻击对小模型在 21 条轨迹上成功率为 0%，全部触发拒答。作者用能力与脆弱性耦合假说解释这一差距，认为维持多轮对话连贯性的能力同时构成攻击面，思维链推理过程也可能把升级路径写进推理轨迹。作者说明样本为计划 8 组模型组合中的 4 组共 100 条轨迹，攻击使用固定轮次序列，结果属假设生成而非结论，并提出应为具身 AI 制定多轮攻击评测协议。