看啥推荐读物

专栏名称: GiantPandaCV

专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创，每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你，大家一起共同进步(･ω<)☆

我也要提交微信公众号

今天看啥

微信公众号rss订阅, 微信rss, 稳定的RSS源

微信公众号RSS订阅方法

B站投稿RSS订阅方法

知乎回答RSS订阅方法

知乎专栏 RSS订阅方法

雪球动态RSS订阅方法

微博RSS订阅方法

微博搜索关键词订阅方法

豆瓣日记 RSS订阅方法

聊聊 PyTorch2.0 中新的Distributed API

GiantPandaCV · 公众号 · 3D · 2024-03-09 22:28

作者丨无恶不作来源丨https://zhuanlan.zhihu.com/p/615754302编辑丨GiantPandaCV最近 ChatGPT 成为了 AI 领域的爆款产品，AIGC 概念被带到了产业的顶峰，多位大佬下场拥抱 AIGC 创业。就在大家都去关注 ChatGPT 的时候，PyTorch 悄悄 release 了最新 2.0 版本。虽然之前 PyTorch2.0 的信息在去年12月已经公布，诸多新的 API 接口和优化方向有了介绍和公开。但实际release 后还是有许多新的业界指导。下面介绍几个 PyTorch2.0 上有关分布式技术的新接口。DTensorPyTorch DistributedTensor (DTensor) 是一种使用分布式张量原语进行原型设计的 API，可以更简单的在 SPMD（单程序多设备）范例中创作分布式计算。当使用 shard 和 replicate 策略来表达张量分布时，这些原语很简单但功能强大。PyTorch DTensor 支持 PyTorch Tensor Parallelism 以及其他高级并行性策略。此外，它还提供了一种统一的方式来保存/加载 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照

分享到微博