大语言模型(LLM)快速理解

文章预览

自2022年，ChatGPT发布之后，大语言模型（Large Language Model），简称LLM掀起了一波狂潮。作为学习理解LLM的开始，先来整体理解一下大语言模型。 一、发展历史  大语言模型的发展历史可以追溯到早期的语言模型和机器翻译系统，但其真正的起点可以说是随着深度学习技术的兴起而开始。 1.1 统计语言模型 在深度学习技术出现之前，语言模型主要基于传统的统计方法，也称为 统计语言模型（SLM） 。 SLMs是基于统计语言方法开始，基本思想是基于马尔可夫假设建立词预测模型，如根据最近的上下文预测下一个词。具有固定上下文长度n 的SLM也称为n—gram 语言模型。 然而这些模型虽然简单，但在处理长文本序列时存在着词汇稀疏性和上下文理解能力有限等问题。 1.2 神经语言模型 随着神经网络技术的发展，Bengio等人于2003年提出了神经语言模型，将语言模 ………………………………