PyTorch 张量详解：从内存使用到 PyTorch 中的自动微分（AutoGrad）

文章预览

PyTorch 是一个用于快速创建机器学习深度学习模型的重要库，该库由 Meta（原 Facebook）开发，让调试变得更加轻松。 当你从零开始构建模型架构时，PyTorch 是最易用的库。 本文将深入探讨 PyTorch 中 Tensor 类的内部工作原理，而且几乎所有的机器学习库都从 PyTorch 中汲取了灵感，所以理解 PyTorch  在底层所做的选择，将有助于大家理解其他所有库。 张量（Tensors） 什么是张量？ 我们先从最抽象的角度来理解，张量是一个数学概念它将标量、向量和矩阵推广到了 n 维空间。 这意味着，一维数组是张量，2x2 矩阵是张量，用于 Transformer 模型的 (b, t, c) 矩阵同样是张量。 对于计算机科学来说，为什么这种多样化的张量形式如此重要？ 一般来说，矩阵运算对内存的消耗最大，进行矩阵乘法运算时，所需的内存传输次数要远远多于对标量进行其他任何操作。 虽 ………………………………