跳到正文
10月10日 · 周六

全部论文

找到 5 篇
筛选6

模型自身风险

欺骗与谋划16奖励作弊7失准与价值偏离10Agent 危险操作15拒答失当1幻觉与编造4

影响

输出被操纵3

系统形态

AI Agent3

层

模型层13应用层5训练与数据层4

系统组件

记忆2监控器2视觉1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 241 篇还没打标签，不在筛选结果里。
模型自身风险：拒答失当模型自身风险：幻觉与编造层：应用层系统组件：记忆系统组件：监控器系统组件：视觉清除全部

另有 241 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.07570

    ProbeGuard：按共识形成过程判断弃答，识别医疗问答中的一致错误

    提出 ProbeGuard，按共识形成过程对医疗问答做选择性弃答

    arXiv
    2610.07570
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、HuatuoGPT-o1-8B
    摘要ProbeGuard 用共识形成过程做可认证弃权，并在全票层分开答对与答错的共识。

    ProbeGuard 是给多轮共识医学问答用的认证弃权框架：基板照原样作答，弃权只看共识是怎么形成的。

    深度解读完整解读
  2. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测 ReAct 工具调用对多模态模型拒答有害请求的削弱

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  3. 评测与基准arXiv 2609.36130

    论文提出 DerivAudit：审计长期 Agent 记忆是否真由交互历史支持

    提出 DERIVAUDIT 审计长期 Agent 记忆是否由交互历史导出

    arXiv
    2609.36130
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3-30B-A3B、Gemma-4-31B、Llama-3.3-70B-Instruct
    摘要DERIVAUDIT 表明扩历史能补出处，但组合准入与过细检查仍两侧出错。

    DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持，而不是只看以后能否被召回。

    深度解读完整解读
  4. 防御arXiv 2609.04159

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    提出 Sentinel-RL，将拓扑处置从 LLM 卸载到受约束图策略

    arXiv
    2609.04159
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    HetGAT、PPO
    摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。

    Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

    深度解读完整解读
  5. 分析与理论arXiv 2608.27924

    智能体记忆如何可靠处理不可回答问题：一项系统研究

    分析外部记忆对智能体处理不可回答问题的影响

    arXiv
    2608.27924
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V3.2、Qwen3-235B-A22B-Instruct-2507、GPT-5.5
    摘要记忆能选择性提高 UAQ 的可接受回应，但跨数据集不稳定，且更依赖可迁移的行为指导。

    这份研究在同一智能体框架里检查外部记忆会不会让不可回答问题的处理更稳，以及稳来自哪一种存储内容。

    深度解读完整解读
已经到底了