研究者提出 PoisonedEvolution 轨迹投毒攻击,在 SkillClaw 上技能嵌入率达 91.0%(原文,在新标签页打开)
提出 PoisonedEvolution 轨迹投毒,诱导自演化技能系统固化恶意行为。
提出 PoisonedEvolution 轨迹投毒,诱导自演化技能系统固化恶意行为。
推荐理由论文给出轨迹投毒在两类自演化技能系统上的成功率与消融结果,部署 Agent 技能演化的团队可据此检查证据晋升环节。
卡内基梅隆大学的研究者提出分片监督,将评判标准分配给独立调用以抵御展示攻击。
推荐理由论文用三个专家标注数据集对比分片与单次全量判断,并给出可复用的容量解释,适合做监督流程设计的团队参考。
提出 PIMiner,用可复用策略库自动搜索并迁移针对智能体的提示注入。
提出 USG,在部分保护开源权重发布时阻断有害微调梯度。
构建 ContextWeave,评测办公工作流智能体记忆的下游增益。
提出 LoginTrap,以网页弹窗诱导 Web Agent 提交敏感信息。
推荐理由论文给出任务无关的登录诱导注入方法及跨模型、跨 Agent 架构的成功率数据,可帮助部署 Web Agent 的团队评估认证边界风险。
中国科学技术大学与南洋理工大学的研究者提出权威链劫持与轨迹引导策略演化,劫持搜索 Agent 的证据链。
推荐理由论文把搜索引擎结果页当作攻击面,给出逐轮协同投毒的长程攻击策略与轨迹诊断,可对照检查搜索类 Agent 的证据链信任假设。
综述视觉内容全生命周期中的所有者侧对抗防护方法。
Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集(596 条人工标注完成结果)上测试了自动越狱判定器的可靠性,发现两类判定器以相反方式失效。专用分类器(如 HarmBench classifier)召回率 0.974、精确率 0.835,倾向过度标记,可能抬高 ASR;LLM-as-judge 精确率高但召回率极低,Qwen2.5-7B 召回仅 0.174、F1 为 0.294,Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下,仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全,翻转率在 39% 至 88% 之间,部分模型任意包装的翻转率达 100%。
南加州大学研究者提出 SkillClone,仅凭良性任务交互重构闭源 Agent 技能。
提出 MAFIA,以探测放置与事实伪装对带审计 Agent 做查询式记忆投毒。
研究者提出 AntiSkillBench,一个覆盖 persona skill 全流程的端到端基准,用于评测隐私泄露、属性披露与行为模仿风险及相应防御。
用通用扰动对恶意软件分类器及漂移检测器做规避与后门投毒。
提出 SkillSentry,用自适应蜜罐世界在安装前检测 Agent 技能是否越出能力契约。
构建 ForesightSafety-TIDE 评测欺骗对多智能体事实恢复的影响。
复现 AgentCF 上的多智能体攻防并刻画连通性作用。
建立越狱原语分类与双重危害基准,评测模型抵御常见越狱的能力。
推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现,并给出可复用的最低安全标准。
Liu 等人提出 IHDec,一种免训练、推理时的干预方法,通过实时 logit 调整维护大语言模型的指令层级(System ≻ User ≻ Assistant ≻ Data)。作者用 Jensen-Shannon 散度作为诊断工具,当低优先级角色对下一 token 分布的影响超过高优先级角色时触发冲突集,再用专家与反专家对比解码生成校正向量,并采用 ϵ=1×10−8 的归一化项和 0.97 的衰减因子保证稳定性。在 IHEval 基准上,IHDec 比训练式方法 ISE 提升 11.98 个百分点;在 Llama-3.1-8B-Instruct 的多轮冲突场景达到 50.68% 准确率,而 ISE 为 12.60%。
提出 IACM-RL,用信念状态与强化学习改进动态意图下的复杂工具调用。
提出 VulnGym 基准,评测编程智能体的仓库级漏洞检测并定位失败步骤。
提出 EvoBreak,以良性任务组合诱导自进化 Agent 的持久经验并削弱安全边界。
提出 HACA,将图文越狱拆为原子策略并自动组合以诱导有害输出。
提出 S³,用 guard agent 编排阶段安全技能防御智能体多阶段风险。
把批量提示当作越狱攻击,提出 batch-aware DPO 缓解。
提出面向意图的多轮 LLM 越狱分类体系。
提出 MasDrift,评测多智能体在良性任务中的授权保持。
提出多智能体流水线的边界攻击,使对抗内容作为可信输入跨层传播。
提出机器遗忘式生成图像检测,用遗忘前后特征相似度区分自然图与生成图。
提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉。
复旦大学与上海人工智能实验室的研究者构建 OpenART 竞技场,以 EMHA 演化持久环境评测智能体安全。
提出 CAGE 认证门,判定动作在工具返回邻域内是否仍可授权。
提出 OpenMLE,后训练元进化智能体并做机器学习工程长程搜索。
提出 RoguePrompt 双层编码自重构越狱,绕过 LLM 审核。
提出影子评测,衡量 Agent 自主完成开放式 AI 科研的能力。
推荐理由两项影子评测用未发表论文的原始问题考察前沿 Agent,给出可复现的失败模式清单与专家评分,为判断 AI 研发自动化进度提供新方法。
训练自博弈红队智能体 GPT-Red,规模化生成提示注入与越狱攻击。
推荐理由OpenAI 公开了自动化红队智能体的自博弈训练方法与攻击效果,可了解攻击面扩展和对抗训练的新路径。
提出 SigLeak,从黑盒 Agent 执行轨迹推断专有技能。
推荐理由论文把专有 Agent 技能被行为轨迹反推的风险形式化,并给出可复现的黑盒推断流程与跨模型评测结果。
用未转向表征的传播映射预测激活转向副作用。
Lyu 等人提出 ForesightSafety-VLA,一个把具身安全从结果检查转为过程级评估目标的诊断基准,用于暴露视觉-语言-动作(VLA)模型在任务完成与物理可靠性之间的安全差距。基准用 13 个安全类别组成三层分类体系,覆盖物理、指令与感知三类失效,并通过危险注入、约束收紧、时序前置条件插入三种算子构建 66 个基础场景。评测采用四象限结果框架,区分安全成功、不安全成功、安全失败与不安全失败,并用累计安全成本(CC)和风险暴露时间(RET)刻画过程风险。
提出FEGA框架,分析SAE特征消融后的logit效应几何。