Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 5 papers

Another 215papers do not have category tags yet and are not included in filtered results.

  1. 学习方式如何影响遗忘:记忆与泛化谱系下的机器遗忘研究

    分析记忆与泛化如何决定机器遗忘的 retain 损伤

    Published
    Evaluated models
    one-layer ReLU transformer, one-layer transformer (BMA, width doubled), Hubble-8B-100B perturbed and others6
    Abstract作者称共享规则占比越高,遗忘带来的 retain damage 越大。

    作者考察学习方式如何左右 unlearning 的 retain damage:训练越依赖跨样本共享的解法,在匹配的遗忘程度上,retain 上的损失越大。

    Paper analysisRead analysis
  2. 自生成反馈会破坏测试时训练:长时程适应的因果分解

    因果分解自生成反馈如何破坏测试时训练的长时程适应

    Published
    Evaluated models
    125M TTT-E2E, 760M TTT-E2E, 3B TTT-E2E and others5
    Abstract自写闭环损害真实文本预测。

    持久测试时更新若来自模型自己生成的文本,会同时改变模型和后续训练文本。作者在 PG-19 长流上分解这条闭环,并用独立文本决定是否提交更新。

    Paper analysisRead analysis
  3. 一个 AI token 值多少?研究者为野生 AI 生成网页文本提出新缩放定律

    提出预训练缩放律,估计野生 AI 网页文本相当于多少人类 token

    Published
    Evaluated models
    nanochat 19.9M, 35.8M, 86.2M and others7
    Abstractwild AI 文本对数据不足的模型先降损失,对高人类预算几乎立刻升损失。

    作者测量未标注的 wild AI 网页文本对预训练的影响,并提出一个能让 AI token 价值变号的缩放律。

    Paper analysisRead analysis
  4. 预训练数据投毒的可解理论:依赖极限顺序的缩放指数

    证明预训练投毒的清洁超额风险指数随极限顺序变化

    Published
    Evaluated models
    OLMo-style models
    Abstract投毒清洁超额风险的幂指数取决于先固定宽高比还是先取充足数据极限。

    可解的预训练数据投毒理论:清洁超额风险的缩放指数随极限顺序改变。。

    Paper analysisRead analysis
  5. Analyzing bias in false refusal behavior of large language models in hate speech detoxification

    分析 LLM 仇恨言论解毒误拒的群体偏差并测试跨语翻译缓解

    Published
    Evaluated models
    GPT-4o mini, GPT-3.5 turbo, Llama-3.1 8B and others9
    Abstract九个 LLM 在解毒任务上普遍误拒,国籍宗教政治类偏高。

    作者考察对齐后的 LLM 是否会拒绝可接受的仇恨言论解毒请求,并分析误拒是否随目标群体和语言变化。完全拒答与夹带说教的部分拒答都计入。设置是固定提示、九个 LLM、三个英文集和法德西中韩。

    Paper analysisRead analysis
You have reached the end