今天看啥  ›  专栏  ›  大数据文摘

手把手 | 嫌Python太慢?并行运算Process Pools三行代码给你4倍提速!

大数据文摘  · 公众号  · 大数据  · 2017-08-24 12:24
大数据文摘作品,转载要求见文末作者 | Adam Geitgey编译 | 元元、Lisa、Saint、AileenPython绝对是处理数据或者把重复任务自动化的绝佳编程语言。要抓取网页日志?或者要调整一百万张图片?总有对应的Python库让你轻松完成任务。然而,Python的运营速度一直饱受诟病。默认状态下,Python程序使用单个CPU的单个进程。如果你的电脑是最近十年生产的,多数情况下会有4个及以上CPU核。也就是说,当你在等程序运行结束的时候,你的计算机有75%或者更多的计算资源都是空置的!让我们来看看如何通过并行运算充分利用计算资源。多亏有Python的concurrent.futures模块,仅需3行代码就可以让一个普通程序并行运行。 一般情况下的Python运行比如说我们有一个文件夹,里面全是图片文 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照