为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下

主要观点总结

文章讨论了大型语言模型（LLM）面临的挑战，包括在低级错误方面的问题，特别是处理词汇和计数任务时遇到的困难。文章还提到了LLM缺乏认知自我知识的问题，以及可能的解决方案。

关键观点总结

关键观点1: LLM出现低级错误的原因被普遍认为是Tokenization的误导性翻译以及模型缺乏自我认知能力的表现。

作者对Tokenization的翻译问题进行了说明，指出LLM在词汇处理方面的困难是由于对单词、数字和标点符号的分割方式不明确。此外，提到了LLM缺乏认知自我知识的问题，导致在面对某些任务时无法充分利用自己的能力。

关键观点2: Karpathy对LLM的表现提出了看法和建议。

Karpathy认为LLM面临的问题是参差不齐的智能表现，需要让模型知道自己在什么方面擅长和不擅长。他提到了Meta的研究方法，通过生成数据来鼓励模型只回答它知道的问题，并拒绝回答不确定的问题。此外，预训练数据的质量和准确性也是影响LLM表现的重要因素。

关键观点3: 文章提到了LLM在特定任务中的表现差异。

文章提到了LLM在人类奥数中的表现和在简单任务如数数、比较大小中的困难之间的对比。作者强调了LLM在某些任务上的优势和其他任务上的不足，并指出这种表现与人类的知识体系和问题解决能力的发展不同步。