专栏名称: AI通识课
深度学习世界--关注深度学习应用,提供深度学习资料下载和技术交流。
今天看啥  ›  专栏  ›  AI通识课

解锁未来密码:常见的8个AI术语,带你穿梭智能迷宫

AI通识课  · 公众号  ·  · 2024-05-30 15:34
    

文章预览

全文预计1400字左右,预计阅读需要7分钟。 我们先来看一张图,这是目前国内几家公司大模型降价的价格汇总: 里面除了公司名称外,基本上都提到了一个词“ token ”,那么这个单词是什么意思?今天我们就来讲讲关于AI的8个常见术语词。 一、Token 大模型中的Token是指在自然语言处理(NLP)领域中,模型处理文本时的基本单元。Token可以是单个词汇、子词(subword)、字符、标点符号或者是任何具有意义的文本片段。 在模型输入阶段,原始文本首先经过分词或Token化处理,将其分解成一系列离散的Token,目前的大模型一般也是按Token进行收费。 二、NLP Natural Language Processing,自然语言处理。NLP主要研究如何实现人与计算机之间使用自然语言进行有效沟通的各种理论和方法,包括自然语言理解(NLU,将自然语言文本转换为计算机可理解的格式)和自然 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览