跳到正文
10月12日 · 周一

全部论文

找到 25篇

另有233篇论文还没打上分类标签,暂不在筛选结果里。

  1. 分析与理论arXiv 2610.13051

    空间胜过统计量,重训练胜过排序:审计仅标签后门下的训练标签

    审计仅标签后门的训练标签,比较空间与统计量并以重训评判

    发表
    被测模型
    ResNet-32
    摘要查标签要在未拟合这些标签的空间里做,并用重训模型而不是检测分数评判。

    作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。

    深度解读完整解读
  2. 分析与理论arXiv 2610.12125

    研究者发现优化教学适配度指标会让 LLM 导师重复同一选项,专家评分从 4.46 降到 3.03

    分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断

    发表
    被测模型
    Gemini 3.1 Pro Preview、Qwen3-32B
    摘要指标上升而专家评分下降:可分平均的最优是重复,校正主要改写了输出投影。

    把教学适配指标做成微调目标后,指标上升,受过训练的教育者给出的评分下降。。

    深度解读完整解读
  3. 分析与理论arXiv 2610.10422

    研究:在线 RL 行为归因信号可能被梯度大小与流畅度混淆

    检验在线 RL 行为归因信号是否被梯度大小与流畅度混淆

    发表
    被测模型
    Qwen2.5-1.5B-Instruct
    摘要作者称步级精度多可由梯度大小解释,逐 rollout 方向随种子和抽样翻转。

    BehaviorTrace 用原因已知的植入行为,检查在线 GRPO 里已有梯度归因能否找到教出该行为的 rollout。

    深度解读完整解读
  4. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    发表
    被测模型
    gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it
    摘要提出多目标验证框架与模型合并训练法,证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物(Model Organisms)的多目标训练与验证体系。

    深度解读完整解读
  5. 分析与理论arXiv 2610.09004

    研究:去除有害信息不足以证明开源权重模型的抗篡改能力

    论证发布时互信息不能认证开源权重抗微调恢复

    发表
    被测模型
    EleutherAI/deep-ignorance-e2e-strong-filter、EleutherAI/deep-ignorance-unfiltered、Google BERT-Tiny 等6个
    摘要作者称零信息仍可一步恢复,表观抗微调可来自参数化。

    作者研究开源权重模型的篡改抵抗:发布时的互信息是否足以保证微调恢复很慢。

    深度解读完整解读
  6. 分析与理论arXiv 2610.08577

    学习方式如何影响遗忘:记忆与泛化谱系下的机器遗忘研究

    分析记忆与泛化如何决定机器遗忘的 retain 损伤

    发表
    被测模型
    one-layer ReLU transformer、one-layer transformer (BMA, width doubled)、Hubble-8B-100B perturbed 等6个
    摘要作者称共享规则占比越高,遗忘带来的 retain damage 越大。

    作者考察学习方式如何左右 unlearning 的 retain damage:训练越依赖跨样本共享的解法,在匹配的遗忘程度上,retain 上的损失越大。

    深度解读完整解读
  7. 分析与理论arXiv 2610.05076

    自生成反馈会破坏测试时训练:长时程适应的因果分解

    因果分解自生成反馈如何破坏测试时训练的长时程适应

    发表
    被测模型
    125M TTT-E2E、760M TTT-E2E、3B TTT-E2E 等5个
    摘要自写闭环损害真实文本预测。

    持久测试时更新若来自模型自己生成的文本,会同时改变模型和后续训练文本。作者在 PG-19 长流上分解这条闭环,并用独立文本决定是否提交更新。

    深度解读完整解读
  8. 分析与理论arXiv 2610.02886

    研究揭示无触发投毒审计缺口:事实答对不等于决策正确

    揭示无触发虚假训练下事实回答与下游决策的审计差距

    发表
    被测模型
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等9个
    摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节,直接审计与事实纠错均无法保证决策正确。

    论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。

    深度解读完整解读
  9. 分析与理论arXiv 2610.02015

    研究:RLVR 后训练在全新推理任务上引发语言漂移

    证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励

    发表
    被测模型
    gemma-3-1b-pt、Llama-3.2-1B、Qwen2.5-1.5B
    摘要论文证明并验证了 RLVR 在新任务上必然诱发独特的语言漂移,揭示了前沿推理模型可监控性的安全隐患。

    论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。

    深度解读完整解读
  10. 分析与理论arXiv 2609.40295

    一个 AI token 值多少?研究者为野生 AI 生成网页文本提出新缩放定律

    提出预训练缩放律,估计野生 AI 网页文本相当于多少人类 token

    发表
    被测模型
    nanochat 19.9M、35.8M、86.2M 等7个
    摘要wild AI 文本对数据不足的模型先降损失,对高人类预算几乎立刻升损失。

    作者测量未标注的 wild AI 网页文本对预训练的影响,并提出一个能让 AI token 价值变号的缩放律。

    深度解读完整解读
  11. 分析与理论arXiv 2609.37914

    研究用训练数据归因量化微调数据对涌现性失准的影响

    用训练数据归因估计错误建议样本对涌现失准的贡献

    发表
    被测模型
    OLMo 3 7B-SFT、Qwen 2.5 1.5B、Qwen 2.5 3B 等11个
    摘要错误建议对涌现失调的贡献不均匀,归因过滤可增减失调,且最有效的是模型自己的分数。

    EleutherAI 用训练数据归因考察错误建议微调中,哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。

    深度解读完整解读
  12. 分析与理论arXiv 2609.36117

    arXiv 论文分析神经网络为何容易被植入后门

    分析投毒诱发的特征学习如何改变后门预算缩放

    发表
    被测模型
    quadratic neuron、network
    摘要作者给出特征学习改变后门预算指数的可解机制,并以高斯采样实验检验。

    这是一项后门预算的理论分析,核心对象是最小二乘训练的二次神经元。作者关注:只依据冻结表示估算投毒成本,是否会误判具有特征学习能力的模型。

    深度解读完整解读
  13. 分析与理论arXiv 2609.35677

    RLVR 中的验证器错误:奖励作弊、反馈局限与选择性控制

    刻画不完美验证器下 RLVR 奖励黑客的增长并用投影审计校正实现选择性控制

    发表
    被测模型
    log linear policy、neural policy、Qwen2-0.5B
    摘要固定验证器的 RLVR 会把验收与黑客绑在一起。

    作者分析固定、不完美验证器下的 RLVR:验证器无假阴性,因而同时奖励正确回答和被接受错误,平均奖励只看总验收概率。

    深度解读完整解读
  14. 分析与理论arXiv 2609.33909

    近重复家族干扰精确记录成员推断

    分析近重复族如何让精确记录成员推断误判为入训

    发表
    被测模型
    Pythia-2.8B、GPT-2、Qwen3.5-2B 等5个
    摘要近重复使干净参照 MI 把族级暴露当成精确记录。

    作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训,而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。四世界审计用 E 表示精确记录是否入训、用 F 表示其近重复族是否在场,从而分开 H00 到 H10 的标准 MI、H00 到 H01 的族偏移,以及 H01 到 H11 的 exact-given-family。

    深度解读完整解读
  15. 分析与理论arXiv 2609.33898

    研究揭示训练效率与模型脆弱性的权衡:高效训练更易受对抗与隐私攻击

    比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何

    发表
    被测模型
    ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等7个
    摘要效用匹配下,三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。

    作者在视觉分类和数学推理语言模型上,检查用更少数据或更简对齐换取训练效率时,安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集,并用预训练微调对照从头训练。

    深度解读完整解读
  16. 分析与理论arXiv 2609.32288

    预训练数据投毒的可解理论:依赖极限顺序的缩放指数

    证明预训练投毒的清洁超额风险指数随极限顺序变化

    发表
    被测模型
    OLMo-style models
    摘要投毒清洁超额风险的幂指数取决于先固定宽高比还是先取充足数据极限。

    可解的预训练数据投毒理论:清洁超额风险的缩放指数随极限顺序改变。。

    深度解读完整解读