今天看啥  ›  专栏  ›  数据派THU

3行代码,Python数据预处理提速6倍!(附链接)

数据派THU  · 公众号  · 大数据  · 2018-10-06 19:00
来源:新智元本文约2600字,建议阅读8分钟。本文介绍了仅需3行代码,将Python数据处理速度提升2~6倍的简单方法。Python是所有机器学习的首选编程语言。它易于使用,并拥有许多很棒的库,可以轻松地处理数据。但是当我们需要处理大量数据时,事情就变得棘手了......“大数据”这个词通常指的是数据集,一个数据集里的数据点如果没有数百万个,也有数十万。在这样的规模上,每个小的计算加起来,而且我们需要在编码过程的每个步骤保持效率。在考虑机器学习系统的效率时,经常被忽视的一个关键步骤就是预处理阶段,我们必须对所有数据点进行某种预处理操作。默认情况下,Python程序使用单个CPU作为单个进程执行。大多数用于机器学习的计算机至少有2个CPU核心 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照