张庆瑞：「道元」是token最佳翻译

文章预览

编者按： 日前，量子计算专家、 国际电机电子工程师学会会士、美国物理学会会士、台湾大学物理系张庆瑞教授撰文，对于大语言模型领域广泛使用的术语“token”的中文翻译，给出了自己的解读，认为“道元”是token的最佳中文翻译。 朱嘉明 教授对此深以为然，强烈推荐。 AI之token就是老子之道 -「道元」是token最佳翻译- 张庆瑞 科学的语言是数学，信息的语言是二进制元组成的机器语言，而人类的语言则以口语或手语表达。任何语言都必须使用工具与符号来表达。语言的形成主要由于声音而发展出来，之后逐渐出现字汇，字汇其实就是现代AI的token。宇宙万事万物都可以token来隐喻表达，更奇妙的是由少数tokens，就可以生成无限的token组合来表达细致人类抽象情感。 有限的token可以表达复杂内容 来源：AI生成 Token在不同场景有不同应用，在游戏中 ………………………………