跳到正文
10月8日 · 周四

红队 · 论文

找到 4 篇
筛选1

攻击类型

越狱3

攻击技术

多轮渐进1角色扮演与说服1

模型自身风险

拒答失当1

影响

有害内容4越权操作15数据与隐私泄露3输出被操纵1可用性与可靠性1监督失效2滥用能力提升2

系统形态

模型与 API3AI Agent1编程 Agent1

攻击者权限

黑盒1无盒1

攻击面/入口

用户输入3

层

提示层2模型层1应用层1

系统组件

护栏与评审2

被测模型厂商

其他4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。
影响：有害内容话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv:2609.32547 ·

    研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

    提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

    模型与 API测试Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个模型层
    摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。

    完整解读
  3. 评测与基准arXiv:2609.09798 ·

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    编程 Agent攻击者黑盒无盒测试CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    完整解读
  4. 评测与基准arXiv:2608.03070 ·

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    模型与 API测试Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个提示层
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    完整解读
已经到底了