专栏名称: 数据分析
专注大数据,移动/互联网,IT科技,电子商务,数据分析/挖掘等领域的综合信息服务与分享平台。合作|约稿请加qq:365242293
今天看啥  ›  专栏  ›  数据分析

多进程+多线程打造高效率爬虫

数据分析  · 公众号  · 大数据  · 2017-10-18 08:24
Hello 大家好!今天要跟大家分享如何用多进程+多线程打造高效率爬虫。为什么需要多进程爬虫你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?懂点Python的小伙伴都知道、GIL的存在导致Python的多线程点有坑啊!)今天就教大家来做一个多进程的爬虫。(其实吧、可以用来做一个超简化版的分布式爬虫)当然还有一种加速的方法叫做“异步”!因为爬虫大部分时间都是在等待response中!‘异步’则能让程序在等待response的时间去做的其他事情。(不过这玩意儿非三言两语能说明白就先不跟大家掰扯了!)学过Python基础的同 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照