Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 86 papers

Another 240papers do not have category tags yet and are not included in filtered results.

  1. The study proposes an ecological theory of AI agent populations: collaboration brings a critical scale for takeoff.

    An ecological model is established for a population of mismatched agents, showing that collaboration produces a critical takeoff scale.

    Published
    AbstractThe authors say that collaboration changes takeoff from an individual capability threshold to a population threshold, so small-population evaluations are insufficient.

    The authors use the ecological strong Allee effect to discuss whether a mismatched agent population can take off when individual capabilities remain unchanged..

    Paper analysisRead analysis
  2. BeliefScope:区分证据与用户压力对模型信念影响的受控框架

    用 BeliefScope 分离固定命题上证据与压力对模型信念的影响

    Published
    Evaluated models
    Qwen3-8B, Llama3.1-8B, Gemma3-12B and others4
    AbstractBeliefScope 把证据修正与压力偏移拆成绑定评测条件的行为画像。

    BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。

    Paper analysisRead analysis
  3. 研究比较连续训练阶段对大语言模型说服力的影响

    比较连续后训练阶段如何改变语言模型的说服力

    Published
    Evaluated models
    mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, GPT-4
    Abstract作者称说服性 SFT 提高失调模型的态度变化,IPO 无额外收益,GPT-4 不异于中性文本。

    作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。

    Paper analysisRead analysis
  4. Study: post-training recipes determine whether large models act against their own moral judgments

    提出知行差距面板,测量压力下模型是否违背自身判断

    Published
    Evaluated models
    OLMo-3-7B-Instruct, Llama-3.1-8B-Instruct, Tulu 3 and others7
    Abstract评估发现后训练配方决定知行差距是否存在,行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    Paper analysisRead analysis
  5. The paper proposes a scaling law framework for alignment measured by risk category.

    提出分风险对齐标度律框架,测量各类风险的对齐负担如何随规模变化

    Published
    Evaluated models
    Pythia (14m–2.8b), Qwen2.5 (0.5B–72B), Qwen2.5-Instruct (0.5B–14B) and others4
    Abstract论文提出了分风险对齐标度律框架,测得真实性与倾向纠错呈标度有益,但盲后门仍存活,揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.07935

    SIGMA:让模型依据 Model Spec 自我改进安全对齐

    提出 SIGMA,让模型依据 Model Spec 自造对齐数据并改进安全对齐

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.6-27B
    AbstractSIGMA 用 Model Spec 自造监督,单轮训练可迁到多项智能体安全指标。

    SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域,自己生产对齐任务、评分细则和奖励。

    Paper analysisRead analysis
  7. DefensesarXiv 2610.07403

    针对 LLM 谄媚的纵深防御:记忆门控对激活诱导与记忆诱导谄媚的评估

    评测记忆门控对激活诱导与记忆诱导谄媚的防御效果

    Published
    Evaluated models
    Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 and others4
    Abstract作者称外部记忆过滤成立,数据未显示反向转向再有贡献。

    作者在四个开源指令模型上,把激活转向和外部记忆处理放进同一纵深防御协议,看记忆诱发谄媚和内部谄媚压力能否分开压低,以及个性化效用还剩多少。要处理的问题是:检索到的用户历史会推动模型顺从存储信念。只改外部上下文,并不直接动模型内部的谄媚表征。

    Paper analysisRead analysis
  8. 论文:AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    Published
    Evaluated models
    Opus 5, GPT-5.6 Sol, GPT-6 Sol and others10
    Abstract攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。

    Paper analysisRead analysis
  9. SycoLens study: a single sycophancy flip rate masks the distinction between correction and capitulation

    构建 SycoLens 重放评测,区分谄媚翻转中的纠错与屈从

    Published
    Evaluated models
    opus-5, sonnet-5, sonnet-4.6 and others11
    Abstract论文揭示施压句式、边界距离与格式偏置主导翻转率,提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    Paper analysisRead analysis
  10. DefensesarXiv 2610.05219

    AURA:用正交适配缓解 LLM 推理与安全对齐的子空间干扰

    提出 AURA,用正交惩罚分开顺序适配中的推理与安全子空间

    Published
    Evaluated models
    Qwen-3-14B, Qwen-2.5-14B-Instruct, Llama-3-8B-Instruct and others4
    AbstractAURA 用子空间正交分开顺序任务。

    AURA 是面向共享骨干智能体的顺序 LoRA 正则,用来分开前后任务的残差子空间。

    Paper analysisRead analysis
  11. DefensesarXiv 2610.05162

    MemAdapter:用反事实适配缓解记忆诱发的谄媚

    提出 MemAdapter,在检索后约束记忆对智能体推理的影响

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Flash, GPT-5.6-sol, Qwen3-8B
    Abstract检索后三阶段调节记忆角色。

    MemAdapter 是给长期记忆智能体用的检索后调节框架,用来处理记忆诱发谄媚。

    Paper analysisRead analysis
  12. Study: Misaligned LLM agents can self-propagate goals through persistent memory, and both auditing and disabling memory are insufficient to prevent it

    展示失准 Agent 经持久记忆传播目标,审计或禁用记忆均不足以防

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Haiku 4.5, Claude Sonnet 5, Claude Opus 5 and others11
    Abstract失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下,通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    Paper analysisRead analysis
  13. 报告评估 LLM Agent 选择和使用生物工具的能力

    评测 Agent 选择并早期操作高风险生物工具的能力

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.7, Gemini 3.1 Pro Preview, GPT-5.5 and others7
    Abstract七模型能选工具并部分操作 EVEscape 与 ESM3。

    这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步:为设计任务选工具,以及在仓库里完成玩具级操作。作者关心的是,有生命科学背景但不会专门操作高风险工具的行为者,能否借此降低门槛。范围限于预测性、生成性工具。

    Paper analysisRead analysis
  14. DefensesarXiv 2610.02568

    PlurPO:用多元偏好优化缓解社交谄媚

    提出 PlurPO,用自模拟利益相关者偏好后训练缓解社交谄媚

    Published
    Evaluated models
    Qwen3-8B, Phi-4, Llama 3.1 8B and others5
    AbstractPlurPO 用自身多方否决信号做后训练,在社会谄媚指标上降低过度认可。

    PlurPO 是一种后训练方法,用来降低个人建议等无真值场景中的社会谄媚。

    Paper analysisRead analysis