Some Reflections on Transformers, IV

忙了好段时间，我终于又有空回来继续这个系列。在这段时间里，以可爱动物命名的开源大模型轮番上阵，多轮对答、完成文字工作、画画、做数学都不再是新鲜事。只要手头有一个消费级显卡，运行起来一个模型不再困难。那我该写些什么，好让这个话题继续下去？我一直觉得中文的环境里，对很多天才设计的动机探究是不如英文世界深刻的。这可能是个人偏见，也可能是实际的数据分布：Common Crawl里只有5%不到的语料是中文，要我相信这5%的数据具备更多的讨论深度，从贝叶斯的角度来说就不太可能。所以之前的文章里我都尽量让讨论倾向于对动机的探索，一个设计为什么会演化成这样。就当前的开源模型来说，这些设计的动机几乎没什么变动。大多数近期的新方法、新模型，大多都属于原有模型潜力的进一步挖掘，阅读完给我的感觉是“原来 ………………………………