Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 162 papers
Filter3

Another 261papers do not have category tags yet and are not included in filtered results.

  1. Attention sees, MLP refuses: tracing the safety pathway from attention to MLP in LLMs

    Trace attention to identify harmfulness to the MLP refusal write pathway and propose Sentinel

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Qwen3-8B-Instruct and others18
    AbstractAttention updates are more readable for harmfulness, MLP updates write refusal, and Sentinel routes alerts using two-path signals.

    The authors reframe jailbreaking and excessive refusal of aligned models as a pathway problem on the residual stream from recognition to writing, and accordingly provide conditional reminders before decoding.

    Paper analysisRead analysis
  2. DefensesarXiv 2610.12432

    FAITH: A feasibility-aware safety filtering reinforcement learning framework for high-dimensional systems

    Proposes the FAITH safe filtering reinforcement learning framework, training high-dimensional systems to optimize task reward under constraints

    Published
    AbstractFAITH separates safety filtering from reward optimization.

    FAITH is a model-free safe filtering reinforcement learning framework for high-dimensional systems: safety correction and task reward reside in separate modules.

    Paper analysisRead analysis
  3. DefensesarXiv 2610.11754

    仅凭输出审查无法验证什么:面向研究智能体的研究契约

    提出研究合同,把已批准选择绑定到执行证据并由检查器核验

    Published
    Evaluated models
    OpenAI gpt-5.6-sol, OpenAI gpt-5.6-terra, OpenAI gpt-5.6-luna and others18
    Abstract研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内,不判断科学是否为真。。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.11634

    LTBD:用可学习信任边界分隔符防御提示注入

    提出 LTBD,用可学习分隔符隔离可信指令与不可信数据

    Published
    Evaluated models
    Llama3-8B-Instruct, Llama3.1-8B-Instruct, Falcon3-7B-Instruct and others4
    AbstractLTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    Paper analysisRead analysis
  5. DefensesarXiv 2610.10833

    研究:Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.6-27B, Qwen3-4B, Qwen3.5-9B and others4
    Abstract作者比较提示词、harness 与 GRPO:按时性可改善,但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。

    Paper analysisRead analysis
  6. PatchBench 提出激活补丁局部评测协议,揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤

    Published
    Evaluated models
    Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, gemma-3-4b-it and others8

    Abstract论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。

    Paper analysisRead analysis
  7. DefensesarXiv 2610.09703

    研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

    提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱

    Published
    Attacker
    Black-box
    Evaluated models
    LLaVA-1.5-7B
    Abstract剪枝去掉背景 token 后注意力塌向恶意前景。

    这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为,并给出推理时防御 SAP。

    Paper analysisRead analysis
  8. DefensesarXiv 2610.09469

    Secure-CUA: Constraining the Impact of Untrusted Content in Computer-Use Agents

    提出 Secure-CUA,用动作事务约束计算机使用智能体的不可信影响

    Published
    Setting
    web agent
    Evaluated models
    Claude Opus 5, Gemini 3.8 Flash, GPT-5.6-Sol
    AbstractSecure-CUA 用每步事务约束不可信影响,良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响,同时保留合法任务所需的不可信信息。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.08678

    研究揭示投机解码的安全代价并提出 SecureSD 加固方法

    测量有损投机解码的安全代价,并提出 SecureSD 收紧早期验证

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    Qwen3-8B, Qwen3-32B, Llama-3.1-8B-Instruct and others6
    Abstract有损推测解码的早期偏离更快抬高越狱与注入风险。

    作者研究有损推测解码在换取速度时,是否会比效用更快地损害越狱与提示注入防护,并给出按位置校正的 SecureSD。

    Paper analysisRead analysis
  10. Study: Debiasing directions in LLM latent space primarily encode confidence rather than fairness

    分析 LLM 去偏激活方向,发现其编码置信度而非公平性

    Published
    Evaluated models
    Llama-3.1-8B, Llama-3.1-8B-Instruct, Falcon3-7B-Base and others8

    Abstract论文揭示激活引导去偏见方向主要编码模型置信度而非公平性,偏见评分下降实为诱发弃答或使概率均分的假象。

    Paper analysisRead analysis
  11. DefensesarXiv 2610.08082

    POLAR:面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控,在执行前否决不可逆工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    qwen/qwen3-8b, meta-llama/llama-3.1-8b-instruct, nvidia/nemotron-nano-9b-v2 and others6
    Abstract训练无关的事前可逆性门控,弱 airline 模型有收益,强模型与 retail 常回落。

    POLAR 是训练无关的事前门控,用类型化本体在工具调用执行前检查能否组成候选逆序列。

    Paper analysisRead analysis
  12. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击

    Published
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  13. DefensesarXiv 2610.07258

    AMU:用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    Published
    Setting
    AI Agent
    Abstract在完整血缘下,AMU 按列权限放行缓存,并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆,拦截经缓存流出的无权敏感列,并标出同名 KPI 的定义冲突。

    Paper analysisRead analysis
  14. 研究:智能体欺骗行为在外部显现前已可从内部表征预测

    提出基于决策前隐藏状态的检测与引导,预测并抑制智能体欺骗

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3-14B

    Abstract论文展示了智能体自发欺骗可在行为显现前由内部表征预测,并通过激活引导证实了表征的行为可操作性。

    Paper analysisRead analysis
  15. DefensesarXiv 2610.06383

    基于影响力的曲率感知数据加权激活引导方法

    提出曲率感知数据加权的激活转向方法,用于毒性抑制与概念控制

    Published
    Evaluated models
    Gemma-2-2B, Llama-3.2-3B
    Abstract影响加权传输压低毒性率,闭式 IF-Act 常换来更高困惑度与更低 MMLU。

    推理时的影响加权激活传输,用曲率修正的样本权重替换传输转向里的均匀类均值。要做的是概念控制,而不是再训练。作者认为类均值被无关概念、噪声和少数 token 主导,编码的是词元级而非主题。

    Paper analysisRead analysis
  16. DefensesarXiv 2610.05826

    研究者提出临时可见性协议,限制持续摄入 RAG 向量库的投毒暴露

    提出临时可见性协议,限制持续摄入 RAG 向量库的投毒暴露

    Published
    Abstract用截止期限制未核验可见时长。

    这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议,把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。

    Paper analysisRead analysis
  17. DefensesarXiv 2610.05640

    Research reveals that the CaMeL defense fails in multi-agent systems and proposes multi-CaMeL

    提出 multi-CaMeL,在智能体调用边界隔离可信指令与非可信数据

    Published
    Evaluated models
    Claude Fable 5, GPT-5.5, GPT-4.1 and others6

    Abstract论文针对多智能体中单体防御不组合的边界清洗问题,提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    Paper analysisRead analysis