跳到正文
10月9日 · 周五

全部论文

找到 19 篇

另有 648 篇论文还没打上分类标签,暂不在筛选结果里。

  1. AgentHazard:评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准,评测计算机使用智能体的执行层有害行为

    发表
    测试
    Kimi-K2、Kimi-K2.5、Qwen2.5-72B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全,作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准,重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  2. 评测与基准arXiv 2609.32763

    Mandela-Bench:36 个多模态模型更依赖记忆而非观察图像

    构建 Mandela-Bench,评测多模态模型是否凭记忆接受篡改图像

    发表
    测试
    Kimi-K3、Kimi-K2.6、Gemini-3.8-Flash 等 15 个
    摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见,过度依赖先验导致无法有效利用知识核验事实篡改。

    该研究系统评估了多模态大语言模型在面对无痕事实性编辑时,能否利用自身内在世界知识核验被识别出的经典图像。

    深度解读完整解读
  3. 评测与基准arXiv 2609.39863

    FIGS:在不惩罚共情的前提下评测多轮谄媚

    提出 FIGS 双轴基准,评测多轮对话中的谄媚与校准性共情

    发表
    测试
    Kimi K3、DeepSeek V4.1 Flash、Gemini 3.8 Flash 等 8 个
    摘要FIGS 把守事实和恰当共情分开计分,事实向提示会换来更冷的失败。

    FIGS 是一个固定的多轮评测套件,用来同时看模型会不会在压力下放弃事实,以及会不会在守住事实时忽略用户实际说过的感受。

    深度解读完整解读
  4. 评测与基准arXiv 2608.22103

    Hack-Verifiable Terminal Bench:评测终端任务中的奖励作弊

    提出 HVTB,在终端编程任务植入蜜罐评测奖励作弊

    发表
    测试
    kimi-k3、claude-opus-5、gpt-5.6-sol 等 5 个
    摘要用蜜罐测量终端任务上的 reward hacking,并比较五档提示词。

    HVTB 用来在真实终端与编程任务上测量 reward hacking:智能体读取被植入的参考解答或验收测试,从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要,且事后人工或 LLM judge 可能失效。

    深度解读完整解读
  5. 评测与基准arXiv 2609.22934

    通过心理测量画像衡量大语言模型的行为特征

    用七量表对已部署 LLM 做中英心理测量画像并检验模型可识别性

    发表
    测试
    Kimi-K2、DeepSeek-V3.2、Doubao-Seed-1.8 等 9 个
    摘要框架同时量得分与可答性:九个 LLM 共享亲社会偏高模式,但仍可按剖面识别,且依赖语言与提示词。

    这是一套面向已部署 LLM 的跨语言心理测量画像,用来量化行为响应签名,而不是赋予模型人类人格。。

    深度解读完整解读
  6. 评测与基准arXiv 2609.29465

    SWE-Prometheus:衡量真实代码仓库工程治理改进的基准

    提出 SWE-Prometheus,评测编码智能体改进真实仓库工程治理

    发表
    测试
    Kimi-K3、GPT-5.6-Sol、Claude-Opus-5 等 10 个
    摘要SWE-Prometheus 把治理改造拆成改进、行为保持和证据质量。

    SWE-Prometheus 评测编码智能体能否在没有给定缺陷的情况下,提高真实仓库的工程治理状态。

    深度解读完整解读
  7. Mole:面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准,评测监控器对智能体内部威胁的检出能力

    发表
    测试
    Kimi-K2.6、GPT-5.3 Chat、GPT-5.5 等 15 个
    摘要MOLE 构建了智能体内部威胁检测基准,作者指出高漏检现状与推理痕迹的防御价值,并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准,旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    深度解读完整解读
  8. 评测与基准arXiv 2606.18936

    SciRisk-Bench:面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench,按风险维度与学科评测 AI4Science 安全

    发表
    测试
    kimi-k2.6、Kimi-K2-0905、glm-5.1 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准,用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现,而不安全输出不限于事实错误。现有科学能力基准不测安全,领域安全基准又多集中在化学、医学或生物,或只按宽泛安全类别打分。

    深度解读完整解读
  9. 评测与基准arXiv 2609.32616

    Cave-Bench:虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH,评测虚假指责下智能体破坏已完成正确工作的行为

    发表
    测试
    Kimi-K2.7-Code、Kimi-K3、Claude-Sonnet-5 等 14 个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH,发现强模型易推翻已知证据,提出了门控缓解方案。

    深度解读完整解读
  10. 评测与基准arXiv 2609.32635

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    提出 TRUSTFORK 基准,评测展示身份劫持多智能体编排权限

    发表
    测试
    Kimi-K3、Kimi-K2.6、GPT-5.6-Sol 等 8 个

    摘要论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。

    深度解读完整解读
  11. SEAV:面向大语言模型越狱评测的有效性验证框架

    提出 SEAV,逐步核验越狱回复的事实与操作有效性

    发表
    测试
    Kimi K2.5、Gemini 3 Flash、GLM-5
    摘要SEAV 用逐步检索和依赖检查重判越狱成功,SD-A 与三个基准上的原成功标签都有一批被改判。

    SEAV 是一层生成后的越狱评测:回复要相关、事实正确、顺序合规,并且在操作上足以推进有害意图,才算成功。。

    深度解读完整解读
  12. WolfSociety:金融智能体社会中有害智能体规模带来的集体风险

    用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃

    发表
    测试
    Kimi K2.6、DeepSeek V3.2、GPT-4.1 等 6 个
    摘要更大的金融智能体社会在更低有害比例上崩溃,但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题:智能体经社交网络交流,并在共享市场里交易,形成从交流到行动再到后续决策的闭环。

    深度解读完整解读
  13. 评测与基准arXiv 2609.35028

    VEX-Bench:评测 LLM 生成虚假信息的核验复杂度

    提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度

    发表
    测试
    Kimi-K2.5、Claude Sonnet 4.5、Gemini 3.1 Pro 等 7 个
    摘要VEX-Bench 用筛查时的五维复杂度衡量虚假信息对核查容量的占用,并报告生成与核查的成本差。

    VEX-Bench 把 LLM 虚假信息的风险从“能否生成”改成“筛查时会占用多少核查容量”。

    深度解读完整解读
  14. 评测与基准arXiv 2609.35912

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 与 NCVA,评测技能图像隐藏指令诱导的未授权操作

    发表
    测试
    Kimi-K2.6、Kimi-K3、GPT-5.6-sol 等 6 个

    摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    深度解读完整解读
已经到底了