【注意力机制】transformers多语言模型

  磐创AI分享  来源 | Github作者 | huggingface编译 | VK【导读】该库中可用的大多数模型都是单语言模型(英语，中文和德语)。有一些多语言模型可用，并且与单语言模型具有不同的机制。本页详细介绍了这些模型的用法。当前支持多种语言的两个模型是BERT和XLM。XLMXLM共有10个不同的checkpoints，其中只有一个是单语言的。剩下的9个模型checkpoints可以分为两类：使用语言嵌入的checkpoints和不使用语言嵌入的checkpointsXLM和语言嵌入本节涉及以下checkpoints：xlm-mlm-ende-1024(掩码语言建模，英语-德语)xlm-mlm-enfr-1024(掩码语言建模，英语-法语)xlm-mlm-enro-1024(掩码语言建模，英语-罗马尼亚语)xlm-mlm-xnli15-1024(掩码语言建模，XNLI语言)xlm-mlm-tlm-xnli15-1024(掩码语言建模+翻译，XNLI语言)xlm-clm-enfr-1024( ………………………………