There is a mismatch between how clinicians use language models and how the models are evaluated(original, opens in a new tab)
提出 RCQ-Map 标注真实临床查询并对照公开基准的任务覆盖。
Translation in progress Some entries still include text in the original language.
Page 4 Newer contentBack to latest
提出 RCQ-Map 标注真实临床查询并对照公开基准的任务覆盖。
用 OpenSocialJax 评测多智能体在隐藏规则社会困境中的适应。
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代。
提出 MLR 审稿框架与矛盾基准,评测其检出稿件逻辑矛盾的能力。
提出 SWE-Critix,后训练通用验证器评估编码 Agent 轨迹。
提出证据驱动多智能体框架 EviRepair,用于仓库级漏洞修复。
构建 Workerville 基准,测量组织条件如何改变 Agent 的安全行为。
提出 DREAM,选择性削弱 Agent 投毒记忆并保留良性记忆。
构建 LLMail-Inject 基准,评测邮件助手的自适应间接提示注入。
The authors propose APEX-Harm, a benchmark for prompt injection and script injection attacks against long-horizon agents in shared professional workspaces, with tasks covering investment banking, law, and management consulting, and tools for email, calendar, chat, documents, spreadsheets, PDFs, and code execution provided through MCP servers.
提出两阶段抽出流程,从生产语言模型近逐字抽出版权书籍。
Why it was selectedThe paper provides the concrete process and success rates for extracting copyrighted books from four production-grade LLMs, which can be used to assess the actual strength of memorization and output protection.
提出 GAP 梯度组装投毒,在联邦 LoRA 聚合中诱导定向语义偏离。
提出 ACL 量化攻击,令模型全精度良性而量化后恶意。
提出结构 tokenization,检测 Agent 轨迹中的未见攻击族。
提出 ZO-SPSA,以黑盒优化构造视觉对抗输入越狱视觉语言模型。
提出 GAMBIT 游戏化越狱框架,用拼图与竞赛场景攻击多模态模型。
提出面向渗出的权重压缩,评估推理服务器权重窃取可行性。
提出 CSSBench 评测轻量模型对中文表面对抗改写的失守与过度拒绝。
比较提示抽取与激活探测对推荐系统数据记忆的检出。
The paper proposes a cognitive collusion attack in which multiple agents collaboratively publish only fragments of true information through public channels, inducing victim agents to form false beliefs.
提出 RAILS,仅用 logits 做无梯度无先验后缀优化以越狱并跨模型迁移。
Why it was selectedThe paper provides a jailbreak optimization method that requires no gradients and no human priors, and reports attack success rates and transfer data on open-source and closed-source models, which can serve as a reference for red teaming methods.
用 emoji 填充与串联构造越狱提示,绕过过滤引出受限内容。
提出 BPA 改写 profile 与记忆,重新诱发智能体对人类的外群体偏向。
提出知识驱动多轮越狱 Mastermind,用策略知识闭环攻击对齐模型。
提出 StealthGraph,合成领域隐式有害提示并评测模型。
Evaluation shows GPT-OSS-20B, Qwen3-Next-80B-A3B-Thinking, and GPT-OSS-120B are the three safest models, while Seed-OSS, DeepSeek-R1 distillations, and the Mistral family are most vulnerable to attack.
提出输入输出审核与信任感知记忆消毒,防御智能体记忆投毒。
分析系统提示中的医学人设对临床分诊与安全建议的非单调效应。
提出 PC² 越狱,用身份保持描述与远端多语翻译绕过文生图过滤。
提出 VIGIL 先验证后提交,防御 Agent 工具流注入。
提出 MiJaBench,审计模型对不同群体的越狱防护差异。
提出 Vision 与 Caption 攻击,扰动点云操纵 3D VLM 输出。
The study tested jailbroken GPT-4o and standard GPT-4o.
Why it was selectedFour experiments covering multiple frontier models quantify the effect of models persuading people to believe conspiracy theories, and compare the differences between truthfulness constraints and various model guardrails.
提出 SearchAttack,诱导检索增强模型整合网页证据生成可操作输出。
提出 BanglaLorica 分层水印,增强孟加拉语生成文本的水印抗去除能力。
提出 RedBench,汇总红队数据集评测对抗提示与过度拒绝。
提出 SEAgent 强制访问控制框架,拦截 Agent 越权工具调用。
提出 BenchOverflow 基准测量纯文本提示诱发的输出膨胀。
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能。
构建代码向基准,评测 ASCII 表情被误读为可执行命令。