每个任务生成100万个输入-输出对的ARC数据集，共4000万ARC数据训练VIT

主要观点总结

本文介绍了专为解决Abstraction and Reasoning Corpus（ARC）挑战而设计的视觉Transformer架构VITARC。研究发现位置信息在视觉推理任务中起重要作用，并引入了一系列改进来提高模型的性能。实验结果表明，VITARC在ARC任务上取得了显著的改进。

关键观点总结

关键观点1: 探索了视觉转换器在解决抽象和推理问题时的基本表示限制。

原始视觉转换器（ViT）在ARC任务上的表现不佳，尽管使用了大量训练数据，仍然无法发现任务中隐含的映射关系。这指出了ViT架构在处理抽象视觉推理方面的固有局限性。

关键观点2: 提出了二维视觉标记，包括二维填充、空间感知的边界标记和二维绝对位置编码，以改善ViT的性能。

通过引入这些改进，ViT的性能得到了显著提高，大约40%的ARC任务实现了超过90%的测试实例解决率。

关键观点3: 介绍了位置编码混合器（PEmixer）和基于对象的位置编码（OPE）来进一步增强模型性能。

PEmixer通过动态调整对对象索引的依赖来平衡位置信息和令牌的重要性。OPE通过注入对象抽象的外部知识来提高模型的性能，特别是在涉及多色对象或需要对象性先验的任务中。

关键观点4: 最终模型ViTARC结合了所有提出的改进，并在ARC任务上取得了显著成果。

ViTARC的设计强调了位置信息在抽象视觉推理中的重要性，并为使用视觉Transformer进行像素级推理提供了一个有前途的方向。