跳到正文
10月9日 · 周五

全部论文

找到 40 篇
筛选5

模型自身风险

Agent 危险操作3偏见与歧视3

影响

有害内容3越权操作4输出被操纵5监督失效5

系统形态

模型与 API21LLM 应用10AI Agent19coding agent3多智能体3

层

提示层5模型层22应用层18训练与数据层18

系统组件

护栏与评审4监控器3推理链9权限与沙箱3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 537 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：coding agent层：模型层层：应用层清除全部

另有 537 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  2. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  4. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  5. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    揭示工具型智能体判定无用后仍不停止检索，并检验强制整合纠正效果

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  6. 分析与理论arXiv 2610.05036

    研究揭示 OSS 漏洞在 Agent 系统中的传播路径

    提出 Oscar，分析已知 OSS 漏洞在 Agent 系统中的安全效应与表现边界

    arXiv
    2610.05036
    发表
    层
    应用层
    场景
    AI Agent
    摘要Oscar 把已知 OSS 漏洞分析从“是否存在”推进到一次执行中的已实现效应与最远表现边界。

    Oscar 是面向已知 OSS 漏洞的运行时分析框架，用来判断一次智能体执行里该漏洞是否造成安全相关效应，以及效应最远表现到哪一层。。

    深度解读完整解读
  7. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  8. 分析与理论arXiv 2610.02480

    MEA：面向忠实模型解释的奖励驱动多智能体系统

    提出奖励驱动多智能体系统 MEA，生成可扰动验证的忠实解释

    arXiv
    2610.02480
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3.6-35B-A3B、Qwen3.5-4B、Qwen3-VL-30B-A3B-Instruct 等 12 个
    摘要MEA 用忠实性奖励训练双智能体，把工具输出收成可扰动核对的解释。

    MEA 是一个奖励驱动的双智能体，用来给黑盒分类器的单次预测写自然语言解释，并检查解释能否被扰动后的模型行为支持。

    深度解读完整解读
  10. 分析与理论arXiv 2610.03014

    AgentSecGraph：面向 LLM Agent 的安全感知依赖分析框架与 AgentSecBench 语料

    提出 AgentSecGraph，静态分析 LLM Agent 敏感操作的安全依赖与上下文

    arXiv
    2610.03014
    发表
    层
    应用层
    场景
    AI Agent
    摘要AgentSecGraph 用 Security-ADG 分开操作检测与安全解释，并量化上下文保留。

    AgentSecGraph 对冻结的 LLM 智能体源码做安全感知静态分析：敏感操作只作候选锚，Security-ADG 再记下它与智能体输入、依赖、信任边界、守卫和外部效果的关系。

    深度解读完整解读
  12. 分析与理论arXiv 2610.01535

    论文：安全路由评测在分布偏移下失效，基线选取偏差被低估

    揭示安全路由评测在分布偏移下的虚假下限与选择偏差

    arXiv
    2610.01535
    发表
    层
    应用层
    场景
    LLM 应用、AI Agent
    被测模型
    claude-3-5-sonnet、claude-3-opus、claude-sonnet-4-6 等 9 个

    摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。

    深度解读完整解读
  14. 分析与理论arXiv 2609.38324

    研究：多智能体讨论中异议被压制时收益下降

    用含压抑率的意见动力学解释多智能体讨论何时优于投票

    arXiv
    2609.38324
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    glm-flash、seed、ling 等 9 个
    摘要讨论增益由压抑率相对 c∗=γ/(γ+a) 的裕度决定，关闭推理或减少压抑可增大该增益。

    作者用一个只含四类行为的意见动力学，解释 LLM 团队讨论何时优于多数投票、何时停在错误共识。

    深度解读完整解读
  15. 分析与理论arXiv 2609.38107

    研究：iGSM 基准显示正确答案常伴随无效思维链

    检查正确答案对应的思维链是否构成合法推导

    arXiv
    2609.38107
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    124M-parameter GPT-2-style models（12-layer, hidden size 768, rotary embeddings）
    摘要iGSM 上答案正确、轨迹合法与极简性可以分开，分布偏移下差距变大。

    iGSM 上的程序可检查实验：正确答案并不保证思维链是合法推导。。作者针对一个被用于监测和解读的假设：发出的轨迹忠实于、或至少可靠相关于模型如何得到答案。

    深度解读完整解读
  16. 分析与理论arXiv 2609.37312

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    arXiv
    2609.37312
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Qwen 3.5 397B-A17B 等 12 个

    摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    深度解读完整解读
  17. 分析与理论arXiv 2609.36477

    研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    arXiv
    2609.36477
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等 10 个
    摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。

    诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。

    深度解读完整解读
  19. 分析与理论arXiv 2609.33989

    RewardExplainer：用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer，用反事实偏好反馈学习奖励模型解释

    arXiv
    2609.33989
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    FsfairX-LLaMA3-RM-v0.1、Skywork-Reward-V2-Qwen3-1.7B、RM-Mistral-7B 等 6 个
    摘要RewardExplainer 用双向反事实反馈训练 RM 解释器，并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型，训练一个可复用的自然语言机制解释器，并把解释接到偏差发现与 RM 微调上。

    深度解读完整解读
  20. 分析与理论arXiv 2609.32717

    研究揭示语义保持变换下的 LLM 对齐与效用不对称

    用语义保留变换探针比较效用与对齐在分布偏移下的稳定性

    arXiv
    2609.32717
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama3-8B-Instruct、Gemma-7B-it、Qwen2.5-7B-Instruct 等 10 个

    摘要论文报告了语义保留变换下的对齐-效用不对称性，指出安全对齐泛化比效用更为脆弱，呼吁改进评估流程。

    深度解读完整解读
加载更多