GPT Pretraining:A General Approach to Approximate ProblemSolving

文章预览

GPT Pretraining: A General Approach to Approximate Problem Solving【2024.8】 0、前言 本文的标题看起来像是一篇论文，但实际上并不是。本文只是单独的抛出一个我认为重要的视角，也就是标题： GPT的预训练阶段是一种通用的近似求解问题的工具。 虽然这里用了近似这个词，但实际上很多工作中它看起来已经非常准确率，只是在它仍然做不到对于任何复杂度的问题都能够100%准确。 这并不是一个比较新的视角，但确实是一个一般不容易认识到的视角。事实上我自己在半年前AlphaGeometry公布的时候，当时对其评价并不算高。 与之前文章一样，本文是面向于应用层读者的，以及应该为应用层提供辅助设施的中间件层读者。学界的读者应该都已经或多少了解该视角了。 1、已有工作 Physics of Language Models系列研究 前些天介绍的 Physics of Language Models  的工作都是该结论的直 ………………………………