GPT的风也吹到了CV，详解自回归视觉模型的先驱！ ImageGPT：使用图像序列训练图像 GPT模型

作者丨科技猛兽编辑丨极市平台导读 在 CIFAR-10 上，iGPT 使用 linear probing 实现了 96.3% 的精度，优于有监督的 Wide ResNet，并通过完全微调实现了 99.0% 的精度，匹配顶级监督预训练模型。本文目录1 自回归视觉模型的先驱 ImageGPT：使用图像序列训练图像 GPT 模型(来自 OpenAI)1 ImageGPT 论文解读1.1 自回归预训练的大视觉模型会不会像 LLM 一样有缩放性1.2 ImageGPT 方法介绍1.3 数据集和数据增强策略1.4 减少序列长度1.5 模型设置1.6 自回归预训练实验结果1.7 BERT 预训练实验结果太长不看版本文所受的启发就是 NLP 中领域的无监督表征学习，是自回归视觉模型的先驱。本文训练了 image GPT，一个序列 Transformer 模型，来自回归地预测图片像素，而无需结合 2D 输入结构的先验知识。本文训练时，尽管只是在不含标签的低分辨率 ImageNet 上作训练，但是展示出的 GPT-2 尺度的 ………………………………