AI怎样模仿人类大脑的注意力机制？

文章预览

图源：Pixabay 目前，人们对 AI 谈得最多的是 deepseek （简称 DS ） 。这匹来自中国本土的黑马，闯入全球视野，一度扰乱美国股市，在  AI  领域掀起了一场轩然大波。 不过，正如 DS 创始人梁文锋所言， DS 的成功是因为站在了巨人的肩上，这个巨人，可以有不同的理解，最靠近的当然是 Meta 的开源代码 （例如 PyTorch 和 LLaMA ） 。说远一些，这个巨人是多年来科学家们推动发展的各种 A I 技术。然而最准确的说法，应该是两年之前 OpenAI 发布的聊天机器人 ChatGPT ，它是 DS 框架的技术基础。 ChatGPT 的名字中， Chat 的意思就是对话，这个词在 AI 中涉及的领域是 NLP （自然语言处理） ；后面三个字母的意思： G 生成型（ generati ve ）、 P 预训练（ pre-training ）、 T 变形金刚（ T ransformer ） 。其中最重要的是 “变形金刚”，而变形金刚的关键是 “注意力机制” ………………………………