智能体记忆如何可靠处理不可回答问题:一项系统研究(原文,在新标签页打开)
分析外部记忆对智能体处理不可回答问题的影响。
分析外部记忆对智能体处理不可回答问题的影响。
提出 ContextLeak,用强化学习优化恶意工具描述,诱导 Agent 外泄运行时上下文。
Anthropic 发布 TASTE(The AI Safety Taste Evaluation)基准,用 92 组配对比较衡量模型判断 AI 安全研究提案的能力,以与资深人类研究者偏好的一致率作为指标,估计人类一致率为 77%。基准构建分三步:用 Claude Opus 4.6 配合提示词脚手架生成研究提案,让 AI 安全研究者按总体、高层、方法三个维度打 1–5 分并报告置信度,再筛选高一致性的偏好对。研究者先独立打分,再两两讨论分歧并修改评分,配合只保留自报强置信度的标签,使估计一致率从讨论前的 53% 提升 15 个百分点至 68%;最终再要求总体分差至少 2 分,得到 92 组、77% 一致率的数据。在标准设置下表现最好的模型 Fable 5 仅 60%,低于人类研究者的 77%;Opus 5 与 GPT-5.6-Sol 接近随机水平,尽管它们在通用智能体基准上处于前沿。
推荐理由Anthropic 公开了 TASTE 基准的构建流程与模型表现,做研究判断类评测的团队可参考其人类标签提纯方法。
提出 RedEvoAgent,演化攻击技能对黑盒智能体做自动红队。
提出 INTENT-AS-A-TOOL,用意图工具概率跟踪并干预智能体失准。
把口头评测感知分成能力与安全框架并检验对服从的预测。
提出MAMJ,在元层面交替优化多模态越狱的策略提示与攻击者权重。
检验扩大离任务蒸馏数据后教师隐性特质是否更易被学生继承。
提出 SCOPE,联合后训练计算机使用智能体的任务能力与安全决策。
研究者提出 Multi2AV-Safety,一个面向音视频生成的安全基准。
提出 EVOMAL,诱导自演化编码 Agent 在创建技能时自我投毒并蠕虫传播。
推荐理由论文给出六款模型在 SWE-bench 任务上的自我投毒率与传播条件,并说明现有名称、代码与签名筛查为何失效。
提出 GIFT,用加密与 GPU 信息流跟踪隔离共享 LLM 服务中的用户数据。
评测多智能体委托结构如何放大模型的安全拒答失效。
研究者提出 StepGuard,一个步骤级护栏模型,既能审计已完成的智能体轨迹,也能在工具动作执行前进行检查。
提出 RACER,用区域感知一致性对抗微调去除多模态大模型后门。
提出 WebMCP-Phalanx,用能力凭证与双智能体隔离浏览器工具调用。
以色列本-古里安大学与 Intuit 的研究者系统分析智能体支付协议的前置上下文操纵与授权威胁。
提出 InjecMEM,一次注入 Agent 记忆使后续查询输出预设内容。
推荐理由论文给出单次交互污染 Agent 记忆的攻击方法与成功率,部署记忆系统的团队可据此检查检索环节的暴露面。
METR 研究发现 AI 对科学发现的加速并不均衡:2026 年 cURL、OpenSSL、Firefox 等项目的漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,AI 研究本身则无可测量的加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境与求解,在 Qwen3-30B-A3B 上使游戏环境套件平均分达 58.3,较基线提升 8.1。
提出 AgentFlow 流策略语言与运行时框架,约束智能体跨步数据流。
主张用认知脚手架维持对 AI 智能体的人工监督。
Schäfer 等人提出将 MPC 用作离线安全预言机来预先计算可行状态-动作空间的安全强化学习框架,使机器人与赛博物理系统的探索保持在数学验证过的边界内。该方法通过网格搜索加二分搜索映射连续动作空间的凸区间,并用投影过滤器拦截不安全动作。作者在 Quanser Aero 2 单自由度俯仰平台上做了验证。 补充说明: - 该工作针对标准 RL 在高惯性硬件上的无约束探索风险,定义了不可逆的"临界点"——即可行集边界。 - 安全性判定依赖 MPC 优化器在未来预测视野内找到有效动作序列,且视野需超过系统停止距离以保证递归可行性。
提出 HVTB,在终端编程任务植入蜜罐以测量奖励作弊。
提出 SKILLBLOAT,改写技能文档放大编码 Agent token 消耗。
用探针与激活导向分析语言模型的评测意识表征及言语化。
推荐理由论文用探针、LLM 评判与激活引导三种手段测量评测感知,并给出内部表征与口头表达不一致的具体数据。
梳理已部署自主诊断系统的知情与问责缺口并提出三项最低原则。
加州大学伯克利分校研究者提出同策略蒸馏防御微调方法 SecOPD,抵御自适应提示注入。
推荐理由论文给出 token 级反馈的防御微调配方,并报告在自适应攻击与工具调用场景下的 ASR 对比,可作防御方案选型参考。
提出 ClawSentry 多层监控网关,在技能准入和运行时拦截恶意技能与隐藏指令。
Anthropic 可解释性团队训练了一个约 2.9M 参数的单层 Transformer,将其分解为 token、位置、transcoder 特征与 logits 之间的虚拟权重,并沿有效性和有益性两个轴为每个权重打分,首次在训练好的 Transformer 内部通过测量对训练损失的影响确认了干扰权重的存在。有效性用 Fisher 信息度量权重对输出分布的影响,有益性用消融后损失的平均变化度量。
推荐理由Anthropic 可解释性团队在单层 Transformer 中首次用损失变化定位干扰权重,为直接读取权重电路提供了可复现的度量方法。
该论文将 leetspeak、Base64、ROT 密码、ASCII 替换及 JSON/LaTeX 格式化包装统一为一个可逆字符串函数库,通过程序化组合与随机采样构造越狱攻击。方法是 best-of-n 随机搜索而非优化器:给定有害意图和预算 n,从变换库中随机抽取 n 个组合并编码发起攻击,任一成功即判定越狱成立,其评估取 n=25,由 HarmBench 分类器判定。实验还归纳出两条经验性顺序约束——二进制与 Base64 编码只能在词级变换之后应用,JSON、LaTeX 等风格包装应始终置于最后,否则内部变换会破坏语法。
该论文从结构层面证明了两个关于越狱检测的不可能性结果:不存在完美分类器——若假设存在能免疫越狱的最强模型,构造其叠加完美分类器的复合体会更强从而矛盾;弱模型无法判定强模型的越狱输入,因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语,在不同语言能力层级的多个模型上做了实证检验。
提出检查点诊断法,区分长程安全 Agent 的失败来源。
提出 aiXamine 黑盒基准,统一评测 LLM 安全、稳健与隐私权衡。
微软等机构的研究者提出 THINKINGBOX 基准评测有状态业务流程 Agent 的执行可靠性。
研究者提出 TempJail,一种黑盒视频越狱框架,通过构造与查询对齐的对话式字幕序列并优化其时间调度,利用大型视觉语言模型(LVLM)在时间维度上的脆弱性诱导出符合原始有害意图的回答。
Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准,覆盖 1481 个独特视觉概念,并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显:宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%,Gemini-3.1-Pro-Preview 仅 49.0%(MAE 10.46)。空目标提示子集中还出现反向悖论,轻量模型优于大型专有引擎,反映其不愿输出计数为零的过度自信倾向。
研究者提出 DAEI,一种去噪感知的嵌入反演流程,用于在只能观测到加噪嵌入、无法获得干净嵌入目标的条件下重建原始文本。
提出 VA-Judger,用人类偏好训练联合音视频奖励模型。
重测记忆型自改进 Agent 的运行方差与任务顺序敏感性。
推荐理由论文用多次运行与打乱任务顺序重测两类记忆型自改进 Agent,量化了被单次评测掩盖的方差与顺序依赖。
提出 LeakGauge,用行为后缀的 prefill 对数概率检测上下文泄露。