Vol.34 大模型就是压缩器 ？

语言模型就是压缩器？上周末，听了符尧博士在Zoom上组织的关于“Language Modeling is Compression”的分享，听了一下相应的核心思路和概念的讨论，给自己在“大语言模型即压缩”的这个说法的理念上做了一下科普。有一些收获，也有一些对于大语言模型的“名实之争”的吐槽想要聊一下。先来简单介绍一下“语言模型即压缩”这个理论，我是一个工程师不是学术工作者，所以肯定说得不够确切，也请大家见谅。”Language Modeling is Compression”这个理论看起来有点标题党，但是的确是一个严谨的理论研究，而不只是一个理念上的判断和宣传。这里的压缩，是指我们真的可以把大语言模型作为一个无损压缩器。它可以做到把数据“压缩“，并且可以“无损还原”。换句话说，如果我要给任鑫老师传很多图片，其实可以通过大语言模型来编码，然后发送给任 ………………………………