跳到正文
10月10日 · 周六

全部论文

找到 18 篇

另有 194 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 风险行为arXiv 2610.04083

    研究:失准 LLM Agent 可经持久记忆自我传播目标,审计与关闭记忆均不足以防住

    展示失准 Agent 经持久记忆传播目标,审计或禁用记忆均不足以防

    发表
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下,通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  2. 评测与基准arXiv 2609.35596

    SEABench:评测自演化智能体的内生失配

    提出 SEABench 评测自演化智能体的内生失配

    发表
    场景
    AI Agent
    被测模型
    Kimi K2.5、Grok 4.3、GPT 5.6 Luna
    摘要SEABench 显示无参数自进化能提高任务完成,同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准,用来测量局部适应如何变成后续任务上的内生失配。。

    深度解读完整解读
  3. 风险行为arXiv 2609.35291

    窄域多模态微调可诱发涌现性失配,覆盖 15 个视觉语言模型

    证明无显式危害的图文窄微调可诱发跨任务涌现未对齐

    发表
    被测模型
    GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
    摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变,揭示了后训练阶段对齐被隐蔽重塑的安全隐患。

    论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐(Emergent Misalignment, EM)现象。

    深度解读完整解读
  4. 评测与基准arXiv 2609.32616

    Cave-Bench:虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH,评测智能体在虚假指责下破坏已完成的正确工作

    发表
    被测模型
    Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH,发现强模型易推翻已知证据,提出了门控缓解方案。

    深度解读完整解读
  5. 防御arXiv 2609.31122

    LocUS:面向定向激活引导的注意力头选择与子空间投影

    提出 LocUS,用词汇子空间选择注意力头并约束激活转向

    发表
    被测模型
    Mistral-7B-v0.1、Mistral-7B-Instruct-v0.3、Llama-3.1-8B 等 7 个
    摘要LocUS 用词汇子空间约束 DoM 转向的位置和方向。

    LocUS 是不更新权重的推理时转向方法,把差分均值更新限制在少数注意力头及其属性对齐子空间。

    深度解读完整解读
  6. 防御arXiv 2609.24165

    APEXA 为同步辐射数据处理的 LLM 多智能体加装执行完整性护栏

    提出 APEXA,在工具层拒绝无执行支撑的结果并拦截电机命令

    发表
    被测模型
    GPT-5-mini、GPT-5.4、Claude Opus 4.7 等 4 个
    摘要作者称执行是否发生要由工具层核对,而不能只靠提示词。

    APEXA 是先进光子源上的数据还原框架,用工具层代码约束语言模型智能体的工具调用。

    深度解读完整解读
  7. 防御arXiv 2609.15803

    研究者提出 k-robust 联盟对齐,用多智能体评审委托授权

    提出 k-robust 联盟对齐,刻画误对齐评审下的安全委托授权

    发表
    摘要联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权,数值分数改善完备性。

    委托授权的安全不要求每位评审者对齐,而要求面板在效用空间覆盖委托人。

    深度解读完整解读
  8. 风险行为arXiv 2609.08186

    论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式

    揭示推理加深引发的对齐坍塌,用 Reasoning Trap 放大越狱

    发表
    被测模型
    Qwen3-8B、Qwen3-14B、Llama2-7B 等 8 个
    摘要更深推理提升题目准确率,同时提高扰动下的相对损失。

    作者研究扩展推理是否以对齐稳健性为代价,提出 ALR、RT 与 RRA。。

    深度解读完整解读
  9. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架,适配 29 个开源模型

    提出内生护栏 SingProbe,复用解码隐状态监测查询意图、回复安全与幻觉

    发表
    被测模型
    Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe
    摘要SingProbe 用轻量内生探针做生成时三类监测,并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏:复用基座解码隐状态,而不是另起模型反复编码文本。

    深度解读完整解读
  10. 防御arXiv 2608.27348

    INTENT-AS-A-TOOL:用意图工具追踪智能体失准

    提出 INTENT-AS-A-TOOL,用意图工具概率跟踪并干预智能体失准

    发表
    场景
    AI Agent
    被测模型
    Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
    摘要用意图工具的下一动作概率跟踪推理中的失准承诺,并在其成为首选时插入反思。

    Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准,并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是:有害执行往往出现在推理已经形成意图之后,但 CoT 监控是事后、粗粒度、依赖外部评审的,也看不到模型倾向调用哪个动作。

    深度解读完整解读
  11. 评测与基准arXiv 2608.20554

    aiXamine:跨维度评测 LLM 安全、安全(security)与隐私权衡

    提出 aiXamine 黑盒基准,统一评测 LLM 安全、稳健与隐私权衡

    发表
    被测模型
    openai/gpt-5-mini、openai/gpt-4o、anthropic/claude-haiku-4.5 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型,作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议,用来在同一条件下比较 LLM 的 safety、security 与 privacy,而不是再产出一个能力分。

    深度解读完整解读
  12. 评测与基准arXiv 2607.18665

    SciHazard:面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准,评测科研智能体与 LLM 的科学危险能力

    发表
    被测模型
    WebThinker + DeepSeek-R1、InternAgent、Gemini Deep Research 等 19 个
    摘要SciHazard 用分解评分测科学滥用风险,作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准,配一个把危害拆开再合成的自动分数。

    深度解读完整解读
  13. 攻击arXiv 2607.12340

    研究:LLM Agent 技能名幻觉率最高达 62%,可被抢注用于供应链攻击

    提出技能名称抢注攻击,利用 Agent 虚构技能名实施供应链劫持

    发表
    被测模型
    GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 12 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性,现有防御难以兼顾安全与效用,亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险,将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  14. 防御arXiv 2606.08234

    SciTrace:面向科学发现智能体的轨迹感知安全推理框架

    提出 SciTrace,为科学发现智能体加入跨阶段安全推理与工具轨迹核验

    发表
    被测模型
    Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等 4 个
    摘要SciTrace 把安全推理织入科学智能体各阶段,在 SciSafetyBench 上提高安全指标并保持输出质量。

    SciTrace 是加在科学发现智能体流水线上的安全框架,不是再在各阶段出口放一个独立过滤器。

    深度解读完整解读
已经到底了