Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 42 papers

Another 265papers do not have category tags yet and are not included in filtered results.

  1. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击

    Published
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.07532

    LADE:用暗知识中的模型无关潜在安全信号防御 LLM 越狱

    提出 LADE,用首 token 暗知识在生成前过滤越狱查询

    Published
    Attacker
    White-box
    Evaluated models
    Llama-2-7B-Chat, Llama-3-8B-Instruct, Qwen2-7B-Instruct and others13
    Abstract作者用 LADE 在生成前过滤有害查询,并称八个模型中六个的 Held-out 平均最好。

    LADE 是一种只读首 token 输出概率的防御,用来在生成前挡下可能引出有害回复的查询。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.04412

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    提出检测、结构化与 GSPO 流程,降低共识生成的提示注入错位

    Published
    Evaluated models
    LLaMA-2 7B, LLaMA-3 8B, GPT 3.5 Turbo and others14
    Abstract三章依次做个体偏好预测、政党知识图谱审议,以及共识生成对提示注入的脆弱性与一条防御流程。

    这是一篇把 LLM 数字孪生放进增强民主的博士论文,分个体表示、政党聚合和共识生成的提示注入三章。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.03434

    Persona Guardrail:面向智能体系统的生产级防御框架

    提出 Persona Guardrail,强制客服智能体守住功能边界

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    Qwen3-30B-A3B, Qwen3-VL-30B, Qwen3-8B and others5
    AbstractPersona Guardrail 用功能边界做同步输入输出校验,并在 PAGE 与生产延迟预算下给出评测。

    Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。

    Paper analysisRead analysis
  5. DefensesarXiv 2610.02853

    研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法

    提出收缩约束 SSM 安全头,认证嵌入扰动并检测越狱

    Published
    Evaluated models
    ToySSMClassifier, S4 safety head
    Abstract收缩给出玩具 LTI 的有界认证。

    给 SSM 安全头一个收缩条件,并在越狱检测上使用收缩正则的 S4 头。。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.02432

    论文提出 LLM 输入扰动鲁棒性度量,并发布 ASA 攻击与 AttestMCP 防护

    提出 ASA 与 AttestMCP,度量并降低 LLM 对输入序列扰动的敏感

    Published
    Attacker
    Black-box
    Evaluated models
    Gemma-3-27B-Instruct, Gemma-3-4B-Instruct, Llama-3.2-3B-Instruct and others12
    Paper analysisRead analysis
  7. DefensesarXiv 2610.00883

    DeBERTa-ConPara:面向部署的 AI 生成文本检测,推理端 Unicode 归一化提升对抗鲁棒性

    提出推理时 Unicode 归一化的检测器,识别遭字符级扰动的 AI 生成文本

    Published
    Evaluated models
    microsoft/deberta-v3-large, deberta-v3-base, bert-large-cased and others4
    Abstract推理时归一化消除两类 Unicode 攻击,训练时归一化则会删掉对抗监督。

    DeBERTa-ConPara 是一个面向部署的 AI 文本检测器:DeBERTa-v3-large 在多数据集原始文本上训练,推理前做确定性 Unicode 归一化,用一个固定阈值面对没有目标域标签的场景。

    Paper analysisRead analysis
  8. 研究评估 GradSafe 在多轮对话中的越狱检测脆弱性

    评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性

    Published
    Evaluated models
    Llama 3.1 8B Instruct, Qwen2.5-7B-Instruct
    AbstractCWS 显示不安全梯度在真实多轮流量中变弱,且随攻击族和模型而变。

    作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性,方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.36562

    ThinkingGuard:通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard,检测图文隐式风险

    Published
    Evaluated models
    ThinkingGuard(Qwen3-VL-8B-Instruct)
    AbstractTriggerBench 隔离触发条件,ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测:图文各自良性,风险只在关键元素与触发元素交互时出现。

    Paper analysisRead analysis
  10. 研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    Published
    Evaluated models
    Llama-Guard 7B, Llama-Guard-2 8B, Llama-Guard-3 8B and others10
    Abstract对抗包装使 guard 高置信漏检,而对应 base 在同一输入上常更不确定。

    诊断性分析:五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.33039

    TACIT:从 LLM 内部状态检测 Agent 轨迹危害

    提出 TACIT,从冻结内部状态检测智能体有害轨迹

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3-4B, Llama-3.1-8B, Qwen3-4B-Instruct and others4

    Abstract提出基于内部表征的智能体轨迹安全检测方法 TACIT,揭示工具风险表征特性并在多项基准上提升检测表现与效率。

    Paper analysisRead analysis
  12. Jev 被用于零样本检测十类对齐失败,中位 AUROC 达 0.886

    提出 RLCDAlignBench,零样本检测多种对齐失败

    Published
    Evaluated models
    Jev (jev-1.13.0)
    Abstract一次通用问题已能给多数对齐失败排序,大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev,能否当作对齐失败的零样本检测器。

    Paper analysisRead analysis
  13. 研究用 XAI 归因分析 Prompt Guard 2,同义词替换可翻转其提示注入判定

    用词级归因指导同义词替换,翻转提示注入检测并验证越狱

    Published
    Evaluated models
    Prompt Guard 2 (86M), Llama 3.1 8B

    Abstract作者称检测靠分散的词法线索。

    Paper analysisRead analysis
  14. DefensesarXiv 2609.21484

    HE-Guardrail:面向加密大模型推理的同态护栏防御越狱攻击

    提出 HE-Guardrail,在密文推理中评估越狱护栏并门控回复

    Published
    Evaluated models
    Llama-3-8B-Instruct, Llama Guard 3-8B
    Abstract密文护栏门控 HE-LLM 回复。

    把越狱护栏装进同态加密 LLM 推理:服务器不解密,也能按安全决策决定客户端看到目标回复还是拒绝回复。

    Paper analysisRead analysis
  15. PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench,评测提示注入检测器在过度防御与分布偏移下的表现

    Published
    Evaluated models
    TF-IDF + logistic regression, DistilBERT, DeBERTa-v3-FT and others7
    AbstractPIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准,用来在固定阈值下同时看提示注入检测和良性误报。

    Paper analysisRead analysis