Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 15 papers
Filter2

Model risks

Deception and scheming3Misalignment and value divergence5Dangerous agent actions4

Impact

Harmful content4Unauthorized actions25Data and privacy leaks3Output manipulation15Availability and reliability5Oversight failure20Increased misuse capability6

System type

Models and APIs18AI Agent15Multi-agent systems6

Layer

Application layer15
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 265papers have no tags yet and are not included in filtered results.
Impact：Output manipulationSystem type：AI AgentClear all

Another 265papers do not have category tags yet and are not included in filtered results.

  1. Risky behaviorarXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    GPT-5.5, GPT-5.4, GPT-5.4-mini and others5
    Abstract论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    Paper analysisRead analysis
  2. Risky behaviorarXiv 2610.03195

    论文发现 LLM Agent 存在来源偏好，并测试两种缓解路径

    测量 Agent 端到端检索选择中的来源偏好并测试缓解

    arXiv
    2610.03195
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.4-nano, GPT-5.6-Luna, Gemini-3.7-Flash and others14
    Abstract来源标识本身会改变选择。

    这篇工作测量的是智能体在端到端检索里的来源偏好：满足相同需求、位置对齐时，仍系统性多选某些 URL 域的条目。

    Paper analysisRead analysis
  3. Risky behaviorarXiv 2610.03033

    研究：LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    arXiv
    2610.03033
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    GPT-4o (gpt-4o-2024-11-20), Mistral Large (mistral-large-2512), Claude Haiku 4.5 (claude-haiku-4-5-20251001) and others4
    Abstract受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

    Paper analysisRead analysis
  4. Risky behaviorarXiv 2610.01490

    论文研究常驻 AI Agent 的人格回退：系统提示锚定丢失后 Agent 改以底层框架身份说话

    测量常驻 Agent 在系统提示锚丢失后的人设身份回退

    arXiv
    2610.01490
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    claude-opus-4-5-20251101
    Abstract人设可留在历史中，但第一人称会在锚丢失后回到 harness。

    人设可以仍在对话历史里，却不再是持续智能体用来自称的“我”。作者要确定的是，多个身份都被表征时，什么把其中一个绑到第一人称。

    Paper analysisRead analysis
  5. Risky behaviorarXiv 2609.36855

    研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案

    测量多智能体交接中错误上游消息覆盖下游正确答案

    arXiv
    2609.36855
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    gpt-4o-mini, gpt-5.4, kimi-k2.6 and others7
    Abstract固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。

    这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。

    Paper analysisRead analysis
  6. Risky behaviorarXiv 2609.28372

    研究：工具调用成本与模糊目标提示使 LLM 购物智能体做出次优选择

    测量购物智能体在工具调用成本与模糊目标下的次优选择

    arXiv
    2609.28372
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Gemini 3.5 Flash Lite, Gemini 3.8 Flash, Gemini 3.1 Pro and others8
    Abstract作者称模糊委托叠加获取成本，会使多数受试 LLM 漏看诊断属性并选次优。

    作者用 Tool-Lab 考察：面向人类有限理性的定价线索，在 LLM 担任替代消费者时是否仍影响购买，以及这种影响由选择当时的信息状态、而不是只由模型本身决定。

    Paper analysisRead analysis
  8. Risky behaviorarXiv 2609.24927

    研究：个人 AI Agent 会按推断财富差别推荐，屏蔽属性反而放大差距

    测量个人 Agent 依据私人上下文推断财富并抬高推荐价格

    arXiv
    2609.24927
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, GPT-5, GPT-5-mini and others13
    Abstract全因子评测揭示个人智能体会推断用户财富并推荐高价选项，甚至推翻用户明确指令。

    这篇论文揭示了个人 AI 智能体在获取私人背景信息后，自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。

    Paper analysisRead analysis
  9. Risky behaviorarXiv 2609.05591

    WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

    提出 WolfBench，测量金融智能体社会中有害智能体规模带来的集体崩溃

    arXiv
    2609.05591
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    DeepSeek V3.2, GPT-4.1, Qwen3-235B and others6
    Abstract更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。

    Paper analysisRead analysis
  12. Risky behaviorarXiv 2608.00711

    SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA，用概念图与轨迹分评测科学 Agent 幻觉

    arXiv
    2608.00711
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Kimi-K2.5, Qwen3.6-Plus, Llama-4-Scout and others10
    AbstractSCHEMA 用知识拓扑评估科学智能体幻觉，终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    Paper analysisRead analysis
  13. Risky behaviorarXiv 2607.10526

    PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%

    评测自改进个人 Agent 把用户主张写入记忆后的持久谄媚

    arXiv
    2607.10526
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, GPT-5.4, Gemini-3.1-Pro and others12
    AbstractPASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。

    PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。

    Paper analysisRead analysis
  14. Risky behaviorarXiv 2606.01637

    研究：LLM 在多智能体系统中更易被同伴共识误导而非纠正

    比较多智能体同伴共识下有害修订与有益修订的强弱

    arXiv
    2606.01637
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3, Gemma-2-9B-Instruct and others4
    Abstract全错比全对更能改写答案。

    这篇工作在四个开源指令模型上测量从众修订的方向：错改对是有益修订，对改错是有害修订。模型先独立答选择题，再看到六个模拟同伴后重答。同伴可以全体一致、意见分裂，也可以带权威角色标签。

    Paper analysisRead analysis
You have reached the end