万字详文阐释3大自然语言处理任务

自然语言处理面临着8个难点，即语言的抽象性、组合性、歧义性、进化性、非规范性、主观性、知识性及难移植性。正是由于这些难点的存在，导致自然语言处理任务纷繁复杂。不过，虽然自然语言处理任务多种多样，却可以被归为三大类常见的自然语言处理任务，即：语言模型、基础任务以及应用任务。本文就分别来介绍一下！语言模型语言模型（Language Model，LM）（也称统计语言模型）是描述自然语言概率分布的模型，是一个非常基础和重要的自然语言处理任务。利用语言模型，可以计算一个词序列或一句话的概率，也可以在给定上文的条件下对接下来可能出现的词进行概率分布的估计。同时，语言模型是一项天然的预训练任务，在基于预训练模型的自然语言处理 ………………………………