文章预览
一名来自新西兰的帅气小伙 将大模型决策过程可视化了 ! 在线网址: https://bbycroft.net/llm 项目 简介 llm-viz的主要目标是展示大型语言模型(LLM)的工作流程和内部机制。具体来说,它提供了一个GPT风格网络的工作实现的3D模型,即OpenAI的GPT-2、GPT-3(以及可能的GPT-4)中使用的网络拓扑结构的可视化。通过这个项目,用户可以更直观地理解LLM的内部架构和工作原理。 在llm-viz中,显示的第一个具有工作权重的网络是一个微小的网络,用于对字母A、B和C的小列表进行排序。这个演示示例模型是基于Andrej Karpathy的minGPT实现。渲染器还支持可视化任意大小的网络,尽管对于较大的网络,权重文件可能由于体积庞大(数百MB)而没有被下载。 llm-viz 提供了在线体验地址,用户可以在线查看LLM的可视化效果 。 线上版本:https://bbycroft.net/llm 如果在线玩感觉不过
………………………………