ChatGPT背后的核心技术（深度）

导语输入几个简单的关键词，AI能帮你生成一篇短篇小说甚至是专业论文。最近大火的ChatGPT在邮件撰写、文本翻译、代码编写等任务上强大表现，让埃隆·马斯克都声称感受到了AI的“危险”。ChatGPT的计算逻辑来自于一个名为transformer的算法，它来源于2017年的一篇科研论文《Attention is all your need》。原本这篇论文是聚焦在自然语言处理领域，但由于其出色的解释性和计算性能开始广泛地使用在AI各个领域，成为最近几年最流行的AI算法模型，无论是这篇论文还是transformer模型，都是当今AI科技发展的一个缩影。以此为前提，本文分析了这篇论文的核心要点和主要创新初衷。01缘  起从Transformer提出到“大规模与训练模型” GPT（Generative Pre-Training）的诞生，再到GPT2的迭代标志Open AI成为营利性公司，以及GPT3和ChatGPT的“出圈”；再看产业界，多个重要领域 ………………………………