MLX 有多快？全面评测 10 款苹果 M 芯片和 3 款 NV GPU 性能

主要观点总结

文章介绍了苹果ML研究团队的最新创作MLX在ML社区取得的重大进展。通过对神经网络中常用的多个关键op进行基准测试，文章比较了MLX、MPS和CUDA GPU的性能，并将基准测试代码开源。文章还讨论了苹果M芯片的统一内存架构和其在机器学习中的优势。

关键观点总结

关键观点1: MLX在ML社区取得重大进展。

自首次发布以来不到两个月，MLX已经获得广泛关注，从GitHub上的星标和Hugging Face上的社区增长可见一斑。

关键观点2: MLX性能基准测试。

文章对神经网络中常用的多个关键op进行了基准测试，涉及10种苹果M芯片和3种CUDA GPU。测试结果以毫秒为单位测量运行时间。

关键观点3: MLX与MPS和CUDA GPU的性能比较。

在大多数操作中，MLX表现出优于使用MPS后端的PyTorch的性能。然而，与CUDA GPU相比，MLX仍然较慢。

关键观点4: 苹果M芯片的统一内存架构的优势。

苹果M芯片的统一内存架构消除了CPU和GPU之间的数据传输需求，这可能是其在机器学习中的一大优势。

关键观点5: MLX的应用场景

对于需要在个人Mac上运行大型模型的情况，MLX框架变得特别有益。使用MLX，可以在不需要额外昂贵GPU硬件的情况下实现这一目标。