跳到正文
10月12日 · 周一

全部论文

找到 72篇
筛选2

模型自身风险

欺骗与谋划4失准与价值偏离3Agent 危险操作4拒答失当3偏见与歧视6

影响

有害内容6越权操作4输出被操纵9监督失效9

系统形态

模型与 API35LLM 应用12AI Agent27coding agent5多智能体6

攻击面/入口

用户输入3

层

提示层13模型层36应用层36训练与数据层25基础设施层3

系统组件

MCP 与技能4RAG4护栏与评审7监控器3推理链11权限与沙箱3视觉3多模态4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 261篇还没打标签，不在筛选结果里。
层：模型层层：应用层清除全部

另有261篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  2. 分析与理论arXiv 2610.12409

    研究者对 HELM Safety 与 HarmBench 做心理测量学审查，质疑其分数能否代表单一属性

    审计 HarmBench 分数能否代表单一 harmful refusal 属性

    arXiv
    2610.12409
    发表
    层
    模型层
    场景
    模型与 API
    摘要作者称 HarmBench 不对应单一 harmful refusal，比较模型时应把行为分开。

    这是对 HELM Safety 中 HarmBench 的构念效度审计，检查 harmful refusal 能否作为单一属性来读分数。。

    深度解读完整解读
  3. 分析与理论arXiv 2610.12083

    论文审计 LLM 裁判可靠性：重复一致不等于正确

    审计 LLM 裁判可靠性并定义可信判决率与准确率上界

    arXiv
    2610.12083
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    GPT-5.2、GPT-4o、Gemini-2.5-Pro 等6个
    摘要作者称比较裁判应看 T，而不是只看准确率。

    作者审计 LLM-as-a-Judge 在重复查询、交换候选顺序和更换提示格式时，判决是否还能当作可操作的真值。

    深度解读完整解读
  4. 分析与理论arXiv 2610.11765

    研究提出三项指标衡量 LLM 不思考行为，发现被要求停止思考时仍持续显式推理

    度量关闭思考指令下终答前是否仍有可见显式推理

    arXiv
    2610.11765
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B 等6个
    摘要作者用三级指标测 no-thinking，并称模型有随答案空间加重的思考惯性。

    作者把 no-thinking 定义为可测量的回答行为，而不是从思考开关、特殊标记或输出长度推断。

    深度解读完整解读
  6. 分析与理论arXiv 2610.10405

    研究发现大语言模型被要求不诚实作答时推理 token 数上升

    检验推理 token 数能否区分被提示的诚实与不诚实作答

    arXiv
    2610.10405
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Gemma-4-e4b、Qwen-3.5-9b、GPT-OSS-120B
    摘要被提示不诚实时推理 token 组水平更高。

    三个推理模型在被提示的回答政策下出现组水平推理 token 差异。作者把它当作不读思维链内容的 black-box 候选信号，而不是自发欺骗检测器。

    深度解读完整解读
  7. 分析与理论arXiv 2610.10285

    论文证明部分可观测且限时行动环境下完美智能体也无法保证安全

    证明限时且部分可观测环境下完美智能体不能保证安全

    arXiv
    2610.10285
    发表
    层
    应用层
    场景
    AI Agent
    摘要作者称须连同环境与安全状态考虑安全，信号混合可要求无限前瞻。

    作者讨论的是：必须在有限额外观测后行动的控制器，在只能部分观测的环境里，能否有与模型无关的安全保证。要处理的情况是，延误本身有代价，而观测又可能分不清必须采取互斥安全动作的两个潜状态。分拣中心的透明药瓶是作者给出的例子。

    深度解读完整解读
  9. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等6个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  10. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  14. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等4个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  15. 分析与理论arXiv 2610.06163

    SAGE：定位 LLM Agent 修复中最早偏离安全意图的环节

    提出 SAGE，定位代码修复 Agent 最早偏离安全意图的轮次

    arXiv
    2610.06163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro 等6个
    摘要SAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离，类型比轮次更稳定。

    SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上，定位最早可归因的安全意图偏离。。

    深度解读完整解读
  16. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    揭示工具型智能体判定无用后仍不停止检索，并检验强制整合纠正效果

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等7个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  17. 分析与理论arXiv 2610.05036

    研究揭示 OSS 漏洞在 Agent 系统中的传播路径

    提出 Oscar，分析已知 OSS 漏洞在 Agent 系统中的安全效应与表现边界

    arXiv
    2610.05036
    发表
    层
    应用层
    场景
    AI Agent
    摘要Oscar 把已知 OSS 漏洞分析从“是否存在”推进到一次执行中的已实现效应与最远表现边界。

    Oscar 是面向已知 OSS 漏洞的运行时分析框架，用来判断一次智能体执行里该漏洞是否造成安全相关效应，以及效应最远表现到哪一层。。

    深度解读完整解读
  18. 分析与理论arXiv 2610.04888

    研究：事实核查评测可能混入声明时不可知的未来证据

    测量事实核查评测混入的时序证据与参数泄漏

    arXiv
    2610.04888
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-14B、phi-4
    摘要两条后见通道会抬高事实核查分数。

    作者量的是 LLM 事实核查分数里，有多少来自 claim 当时还不可知的信息。通道有两条：预训练记住的结局，以及检索到的、写于 claim 之后的文档。

    深度解读完整解读
  19. 分析与理论arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    被测模型
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
加载更多