开源：Test-Time Training 巨大提升抽象推理

文章预览

The Surprising Effectiveness of  Test-Time Training for Abstract Reasoning 测试时训练对抽象推理的出人意料的有效性 https://ekinakyurek.github.io/papers/ttt.pdf https://arxiv.org/pdf/2411.07279 论文： 摘要 语言模型在训练分布内的任务上表现出了令人印象深刻的性能，但在需要复杂推理的新问题上往往表现不佳。我们研究了测试时训练（TTT）——在推理过程中使用来自输入数据的损失临时更新模型参数——作为一种提高模型推理能力的机制，使用抽象和推理语料库（ARC）作为基准。 通过系统性实验，我们确定了成功TTT的三个关键组成部分：（1）在类似任务上的初始微调（2）辅助任务格式和增强（3）逐实例训练。TTT显著提高了ARC任务的性能，与基础微调模型相比，准确度提高了高达6倍；将TTT应用于一个8B参数的语言模型，我们在ARC的公共验证集上达到了53%的准确度，比公开的 ………………………………