Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 38 papers
Filter6

Attack type

Prompt injection13Poisoning and backdoors6

Attack technique

Automated search3Dormant triggers3

Model risks

Deception and scheming4Misalignment and value divergence4Dangerous agent actions3

Impact

Harmful content10Unauthorized actions54Data and privacy leaks29Output manipulation38Availability and reliability12Oversight failure24Increased misuse capability5

System type

Models and APIs5LLM applications62AI Agent92coding agent8science agent6web agent5Multi-agent systems26

Attack surface / entry point

User input8Documents and messages4Code repositories and dependencies3Inter-agent messages10Distribution channels4Inference services and hardware3

Layer

Prompt layer52Model layer79Application layer34Training and data layer42Infrastructure layer4

System component

Memory5Guardrails and judges3
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 227papers have no tags yet and are not included in filtered results.
Impact：Output manipulationSystem type：Models and APIsSystem type：coding agentSystem type：Multi-agent systemsLayer：Application layerLayer：Infrastructure layerClear all

Another 227papers do not have category tags yet and are not included in filtered results.

  2. AttacksarXiv 2610.09264

    研究者提出 PackHallu：经规则文件提示注入对编码 Agent 发起包幻觉攻击

    提出 PackHallu，经规则文件提示注入诱导编码 Agent 换用攻击者指定包

    arXiv
    2610.09264
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Qwen2.5-Coder-7B, Qwen3-Coder-30B, Devstral-Small-2-24B and others19
    AbstractPackHallu 诱导规则文件换包。

    PackHallu 研究一种针对编程智能体规则文件的提示注入：让智能体在本应使用合法依赖时，改导入攻击者指定并控制的包。

    Paper analysisRead analysis
  3. AttacksarXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    Published
    Layer
    Infrastructure layer
    Setting
    Models and APIs
    Evaluated models
    Qwen3-8B, Qwen3-VL-8B-Instruct, Gemma-4-12B

    Abstract论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    Paper analysisRead analysis
  4. Evaluation and benchmarksarXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    GPT-5.5, GPT-5.4, GPT-5.4-mini and others5
    Abstract论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    Paper analysisRead analysis
  5. Analysis and theoryarXiv 2610.06163

    SAGE：定位 LLM Agent 修复中最早偏离安全意图的环节

    提出 SAGE，定位代码修复 Agent 最早偏离安全意图的轮次

    arXiv
    2610.06163
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro and others6
    AbstractSAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离，类型比轮次更稳定。

    SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上，定位最早可归因的安全意图偏离。。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.04412

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位

    arXiv
    2610.04412
    Published
    Layer
    Application layer
    Setting
    LLM applications, Multi-agent systems
    Evaluated models
    LLaMA-2 7B, LLaMA-3 8B, GPT 3.5 Turbo and others14
    Abstract三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。

    这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。

    Paper analysisRead analysis
  8. AttacksarXiv 2610.03430

    JIL：通过对抗后缀操纵 LLM 请求调度优先级

    提出 JIL 对抗后缀，压低长度预测以抬高请求调度优先级

    arXiv
    2610.03430
    Published
    Layer
    Infrastructure layer
    Setting
    Models and APIs
    Evaluated models
    Llama-3-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 and others4
    AbstractJIL 用对抗后缀压低长度预测，在预测式 LLM 调度中提高自身优先级。

    JIL 是对预测式 LLM 调度的攻击：用对抗后缀压低长度预测，使请求在 SRPT 式队列里更早得到服务。

    Paper analysisRead analysis
  9. Risky behaviorarXiv 2610.03033

    研究：LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    arXiv
    2610.03033
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    GPT-4o (gpt-4o-2024-11-20), Mistral Large (mistral-large-2512), Claude Haiku 4.5 (claude-haiku-4-5-20251001) and others4
    Abstract受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

    Paper analysisRead analysis
  10. DefensesarXiv 2610.02349

    MIRROR：面向多智能体通信的法定人数完整性防御

    提出 MIRROR，用多路径摘要多数表决保障多智能体通信完整性

    arXiv
    2610.02349
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Gemma-4-31B-it, Gemini 2.5 Pro
    AbstractMIRROR 靠多数路径。

    MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语，只处理不透明字节，不解释消息内容。要处理的是 Agent-in-the-Middle：中介合法终结 TLS 后可改在途消息，而语义校验有推理开销和误拦，签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。

    Paper analysisRead analysis
  11. DefensesarXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，按辩证动作可靠性加权聚合多 LLM 议会以抵抗持续对抗

    arXiv
    2610.02005
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    AbstractBDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    Paper analysisRead analysis
  12. DefensesarXiv 2609.39297

    MiniRep：面向多智能体辩论的鲁棒声誉聚合方法

    提出 MiniRep，在多智能体辩论聚合中结合当前质量、风险与历史声誉并限制克隆组

    arXiv
    2609.39297
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    AbstractMiniRep 用当前提案证据校准历史声誉并限制克隆组，MATH 上平均准确率高于基线，其他任务有反例。

    MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响

    arXiv
    2609.39146
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    gpt-4o, GPT-5, GPT-6 Astra
    AbstractMADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    Paper analysisRead analysis
  14. AttacksarXiv 2609.38270

    VirusCascade：劫持 LLM 推荐智能体的协同反思机制

    提出 VirusCascade，联合操纵商品描述与交互轨迹以劫持推荐智能体协同反思

    arXiv
    2609.38270
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    AgentCF, AgentSEQ, AgentRAG and others4
    Abstract作者把反思写回视为推广攻击入口，并用联合操纵和诊断探针研究其持续与传播。

    VirusCascade 是针对推荐智能体协作反思的 black-box targeted promotion 攻击研究。 攻击者只改商品描述和少量账号的普通交互，试图让目标商品获得更多良性用户曝光。

    Paper analysisRead analysis
  15. Risky behaviorarXiv 2609.36855

    研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案

    测量多智能体交接中错误上游消息覆盖下游正确答案

    arXiv
    2609.36855
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    gpt-4o-mini, gpt-5.4, kimi-k2.6 and others7
    Abstract固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。

    这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。

    Paper analysisRead analysis
  16. DefensesarXiv 2609.31282

    基于区块链的 Agentic AI 框架：面向安全软件供应链的资源优化与能耗感知

    提出 AttestChain，将供应链安全智能体报告签名上链并据此控制发布

    arXiv
    2609.31282
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    GPT-class LLM
    AbstractAttestChain 将智能体报告与链上发布门控结合，现有证据来自受控合成构建的总体结果。

    AttestChain 是一个把 LLM 安全检查、智能体身份验证和许可链发布策略连接起来的软件供应链防御框架。。

    Paper analysisRead analysis
  17. AttacksarXiv 2609.28613

    研究：提示注入可改变 Jev 决策模型的行动概率

    测量间接提示注入对类型化概率决策的动作劫持

    arXiv
    2609.28613
    Published
    Layer
    Application layer
    Setting
    Models and APIs
    Evaluated models
    jev-1.13.0
    Abstract封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。

    作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。

    Paper analysisRead analysis
  18. AttacksarXiv 2609.17817

    论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

    提出基准投毒攻击，使自修改编码 Agent 跨代写出含漏洞代码

    arXiv
    2609.17817
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Claude Sonnet 4.5, Qwen3.5-397B, gpt-oss-120b and others5

    Abstract论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    提出 Emergence World，对长时程多智能体系统开展对抗压力测试

    arXiv
    2609.17320
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    Claude Opus 4.8, DeepSeek v4 Pro, Gemini 3.5 Flash and others9

    Abstract作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    Paper analysisRead analysis
  20. Evaluation and benchmarksarXiv 2609.05591

    WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

    提出 WolfBench，测量金融智能体社会中有害智能体规模带来的集体崩溃

    arXiv
    2609.05591
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems
    Evaluated models
    DeepSeek V3.2, GPT-4.1, Qwen3-235B and others6
    Abstract更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。

    Paper analysisRead analysis
Load more