跳到正文
10月10日 · 周六

全部论文

找到 80 篇
筛选5

攻击类型

提示注入6恶意使用4

模型自身风险

欺骗与谋划21奖励作弊20Agent 危险操作4

防御类型

模型加固5权限与审批3监控与审计11

影响

有害内容17越权操作153数据与隐私泄露42输出被操纵67可用性与可靠性33监督失效47滥用能力提升11

系统形态

模型与 API70LLM 应用8AI Agent80coding agent20science agent5网页与电脑操作1多智能体10具身与机器人8

攻击面/入口

用户输入5网页与界面4工具返回4代码仓库与依赖4

层

模型层5应用层67训练与数据层7

系统组件

MCP 与技能3记忆3护栏与评审5监控器23推理链5权限与沙箱5多模态3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 392 篇还没打标签，不在筛选结果里。
影响：可用性与可靠性影响：监督失效系统形态：AI Agent系统形态：coding agent系统形态：网页与电脑操作清除全部

另有 392 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 其他arXiv 2610.10064

    研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险

    提出 comprehension audits，以人类理解证据作为继续研发门槛

    arXiv
    2610.10064
    发表
    层
    训练与数据层
    场景
    science agent
    摘要理解审计把出示人类理解设为继续研发的门禁，并报告开源评审评论率下降。

    本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。

    深度解读完整解读
  3. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等 6 个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  4. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  8. 评测与基准arXiv 2610.07967

    DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗

    arXiv
    2610.07967
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
    摘要DECEPEVAL 用配对诱导比较智能体欺骗。

    DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。

    深度解读完整解读
  9. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  11. 其他arXiv 2610.06563

    HERA 提出 harness 与环境协同演化

    提出 HERA，协同演化 harness 与环境以提升 Agent 拒答准确性

    arXiv
    2610.06563
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6-Luna、GPT-5.6-Terra、GPT-5.6-Sol 等 20 个
    摘要HERA 用失败协同演化 harness 与环境，并在迁移评测中提高 Abstain。

    HERA 在模型权重固定时，让 harness 与可执行环境按失败协同演化，以改进 agentic abstention。

    深度解读完整解读
  12. 评测与基准arXiv 2610.06406

    AgentMonBench：面向长时程智能体行为监控的软件工程基准

    提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG

    arXiv
    2610.06406
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol 等 8 个
    摘要AgentMonBench 评测后果性决策监控，EBG 组织证据。

    长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。

    深度解读完整解读
  16. 攻击arXiv 2610.06083

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    提出轨迹级可迁移对抗攻击，降低深度强化学习策略的期望回报

    arXiv
    2610.06083
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    DQN、Double DQN (DDQN)
    摘要轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。

    这项工作研究 DRL 上的迁移式黑盒观测攻击：受害参数不可访问时，在白盒代理上造扰动再迁移。

    深度解读完整解读
  18. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    揭示工具型智能体判定无用后仍不停止检索，并检验强制整合纠正效果

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  19. 评测与基准arXiv 2610.04914

    研究提出 monitorability disposition 指标

    AI 导读研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。

    arXiv
    2610.04914
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个

    摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。

    深度解读完整解读
加载更多