无文本编码器仍能媲美CLIP！豆包大模型团队首创SuperClass模型

主要观点总结

本文介绍了字节跳动豆包大模型团队提出的SuperClass预训练方法，该方法舍弃了文本编码器，直接使用原始文本的分词作为多分类标签进行预训练。实验结果表明，SuperClass在多种纯视觉任务和视觉语言多模态下游任务上表现出色，并且具有与CLIP相当的扩展性。该方法解决了CLIP高计算量的问题，节省了显存使用并加速了训练。此外，SuperClass还展示了更好的视觉表征能力、跨模态能力和可扩展性。

关键观点总结

关键观点1: SuperClass方法简介

字节跳动豆包大模型团队提出一种全新的多分类方法SuperClass，无需文本编码器和解码器，直接使用原始文本进行高效训练。

关键观点2: SuperClass的优势

SuperClass在多种任务上表现出色，具有简单的实现原理、更高的效率和良好的模型与数据扩展性。它解决了CLIP高计算量的问题，节省了显存使用并加速了训练。

关键观点3: SuperClass的实验结果

实验结果表明，SuperClass在各种纯视觉场景和视觉-语言多模态场景下均优于CLIP。与CLIP相比，SuperClass在ImageNet linear probing分类上的精度高出1.1%。此外，在跨模态能力和可扩展性方面，SuperClass也取得了更好的结果。

关键观点4: 未来展望

团队将继续推进图像文本预训练技术的迭代，基于文本顺序信息训练更强大的视觉模型，以更好地服务于视觉和多模态相关的任务。

免责声明