简化数据获取！Uber开源深度学习分布训练库Petastorm

策划编辑 | Natalie 作者 | Uber ATG 翻译 | 无明 编辑 | Natalie AI 前线导读： 近年来，深度学习在解决模式识别问题方面发挥了关键作用。Uber Advanced Technologies Group（ATG）使用深度学习来解决自动驾驶领域的各种问题，他们的很多模型需要来自传感器数十 TB 的训练数据。Uber ATG 的研究人员和工程师正在积极推动跨多个问题领域的自动驾驶技术，如感知、预测和规划。为了支持这些工作，他们致力于开发数据集存储解决方案，让研究人员更容易获得数据，从而可以专注于模型实验。本文将介绍 Petastorm，一个由 Uber ATG 开发的开源数据访问库。这个库可以直接基于数 TB Parquet 格式的数据集进行单机或分布式训练和深度学习模型评估。Petastorm 支持基于 Python 的机器学 ………………………………