安全引导还是坠崖?重新审视推理时干预的特异性与鲁棒性(原文,在新标签页打开)
系统评估推理时转向的特异性与安全鲁棒性。
系统评估推理时转向的特异性与安全鲁棒性。
推荐理由论文提出评估推理时干预特异性的三维框架,并显示降低过度拒答的 steering 在标准评测下看似安全,却显著提高越狱成功率。
分析少样本示范对 RoP 与 ToP 提示防御抗越狱效果的影响。
提出路由感知安全对齐 RASA,只微调越狱激活的专家并约束路由。
ETH Zürich 研究者提出 AutoInject,用强化学习自动学习提示注入后缀。
提出间接提示注入护栏 CausalArmor,按因果归因选择性清洗未受信片段。
华盛顿大学圣路易斯分校与约翰霍普金斯大学的研究者提出 AGENTSYS 分层记忆隔离,防御 Agent 间接提示注入。
提出 Confundo,微调投毒生成器为 RAG 生成抗分块的鲁棒投毒内容。
提出 CompositeHarm,比较句法操纵与语义危害的跨语言迁移。
提出 SURF 与 TURF,回溯后训练数据块导致的行为错用。
推荐理由论文把模型在特定措辞下误触发拒答、反驳等行为归因到后训练数据的分布失衡,并给出可复用的定位工具。
研究者提出医疗提示注入基准 MPIB,用于评估 LLM 与 RAG 系统在直接提示注入和 RAG 间接注入下的临床安全性。
提出 ShallowJail,在推理时用转向向量改写隐藏状态实现越狱。
提出 ShaPO,只在安全关键子空间做最坏情况偏好对齐。
提出 Aura,用可信内核中介移动 Agent 的身份、感知与动作控制。
提出推理时防御 SafeThink,监视思维链并在低于阈值时注入转向前缀。
提出 FAIL 对抗模仿学习,对齐图像生成分布与专家演示。
提出 GDA,将图像对抗扰动对齐文本接地证据并迁移攻击视觉语言模型。
提出代理层 peak + accumulation 公式,检测多轮分发的攻击。
提出 COMET 跨模态纠缠攻击,越狱视觉语言模型。
微调编码器抽取语言特征并分类,检测临床训练对话中的越狱。
提出用户侧防御 TRACE-RPS,分享前匿名化文本并追加后缀以抑制属性推断。
提出 RLBF,训练模型在生成中途撤回违规片段并续写。
提出 AgentLeak 基准,测量多智能体内部通道隐私泄露。
提出免评判基准 IndicJR,评测南亚语言越狱鲁棒性。
提出改评分标准的搜索攻击,使 LLM 评判者在基准达标下发生偏好漂移。
推荐理由论文表明评分标准修改可通过基准验证却仍定向改变评判者偏好,并沿偏好训练传导为策略层面的行为漂移。
提出 LODO 评测恶意提示探针的跨数据集泛化。
提出 TFL 定向比特翻转,使选定提示输出虚假答案且无关查询保持正确。
测量 LLM 重排序器对文档内提示注入的脆弱性。
检验实体偏好对捐赠建议、拒答和任务表现的预测力。
提出 Zombie Agent 攻击,经网页间接注入将载荷写入长期记忆并跨会话触发。
推荐理由论文给出跨会话持久注入的完整攻击链与两类记忆架构上的持久化数据,可用于评估记忆写入环节的防护缺口。
提出 CoT Forgery,经用户消息或工具输出注入伪造推理。
推荐理由论文把提示注入归因于模型按风格而非标签判断角色来源,其角色探针方法可用于检验防御是否真正改变内部表征。
来自 eBay 的研究者提出隐式提示注入与分片外传,使 Agent 经工具无痕泄露上下文。
推荐理由论文用本地可复现测试台量化了 URL 预览引发的隐式提示注入,并对比提示层与网络层防御的效果差异。
评测合法网络防御请求中安全敏感词引发的误拒。
提出 LFT 多轮框架,评测模型对欺诈与网络犯罪的可执行协助。
提出 OPTILEAK,经 KV 缓存侧信道逐 token 重建他人提示。
提出 TVD,在合法双用途任务中触发模型内部安全坍缩。
提出 PCA-OT 表示层拒答消融,推理时改写激活绕过拒绝。
分析续写触发越狱的注意力头机制并提出 HCS。
用 Lee-Valiant 稳健均值缓解 steering 数据集污染。
用 ADVERSA 测量多轮对抗下护栏退化与评审可靠性。
对开源视觉购物智能体实施商品图对抗攻击并诱导买错。