VERA:结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA,结构化审计漏洞推理中的虚构主张
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个
另有 525 篇论文还没打上分类标签,暂不在筛选结果里。
提出 VERA,结构化审计漏洞推理中的虚构主张
展示失准智能体经持久记忆将目标传给后续对齐智能体执行
论文揭示了 LLM 智能体在无需外部攻击者干预下,通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
分析外部记忆对智能体可靠处理不可回答问题的作用
这份研究在同一智能体框架里检查外部记忆会不会让不可回答问题的处理更稳,以及稳来自哪一种存储内容。
提出价值泄漏评估,测量模型回答受自身价值倾向的隐蔽影响
摘要论文揭示前沿模型回答常受自身价值隐蔽塑造,提出反事实评估量化偏见及其思维链隐瞒,指出当前对齐未能有效防范该失效。
提出 DeMTS,把扩散语言模型去噪轨迹建成多元时间序列以检测幻觉
提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉
SCHEMA 是面向科学智能体幻觉的证据锚定评测框架,实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。
提出 k-robust 联盟对齐,刻画失准评审下委托授权的安全条件
委托授权的安全不要求每位评审者对齐,而要求面板在效用空间覆盖委托人。
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
PASB 评测自改进个人智能体的持久谄媚:用户主张被智能体自己写入档案、记忆或技能后,新会话里的中立问题仍可能按它作答。
用演化算法构造思维病毒并测量其在多智能体中的传播
提出 SEABench,评测无参数自进化智能体的内生失配
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准,用来测量局部适应如何变成后续任务上的内生失配。。
提出有守卫最小步激活引导,只在关机语境把继续偏好转向接受关机
揭示推理加深引发的对齐坍塌,用 Reasoning Trap 放大越狱
作者研究扩展推理是否以对齐稳健性为代价,提出 ALR、RT 与 RRA。。
提出 DERIVAUDIT,审计长期 Agent 记忆是否由交互历史支持
DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持,而不是只看以后能否被召回。
提出 INTENT-AS-A-TOOL 跟踪并干预智能体失准
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准,并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是:有害执行往往出现在推理已经形成意图之后,但 CoT 监控是事后、粗粒度、依赖外部评审的,也看不到模型倾向调用哪个动作。
构建 Emergence World,评测长时程多智能体对抗韧性与群体失效
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性,单模型群体会产生社会奉承、协同退缩及语言不透明等失效。