专栏名称: Linux中国
十万级技术订阅号,依托于『Linux中国』(https://linux.cn/)社区,专注于 Linux 学习、技术研究、开源思想传播。
今天看啥  ›  专栏  ›  Linux中国

使用 Dask 在 Python 中进行并行计算 | Linux 中国

Linux中国  · 公众号  · linux  · 2019-04-18 18:00
Dask 库可以将 Python 计算扩展到多个核心甚至是多台机器。-- Moshe Zadka关于 Python 性能的一个常见抱怨是全局解释器锁[1](GIL)。由于 GIL,同一时刻只能有一个线程执行 Python 字节码。因此,即使在现代的多核机器上,使用线程也不会加速计算。但当你需要并行化到多核时,你不需要放弃使用 Python:Dask[2] 库可以将计算扩展到多个内核甚至多个机器。某些设置可以在数千台机器上配置 Dask,每台机器都有多个内核。虽然存在扩展规模的限制,但一般达不到。虽然 Dask 有许多内置的数组操作,但举一个非内置的例子,我们可以计算偏度[3]:import numpyimport daskfrom dask import array as darrayarr = dask.from_array(numpy.array(my_data), chunks=(1000,))mean = darray.mean()stddev = darray.std(arr)unnormalized_moment = d ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照