运用 Redis 构建分布式爬虫，抓妹子图

点击上方“程序员大咖”，选择“置顶公众号”关键时刻，第一时间送达！当你能够针对一个url进行请求，获取数据，继续请求的时候，说明你的爬虫已经可以自给自足的爬起来。但是这样的爬虫其效率将会严重限制在单进程效率极限之下，时间的主要消耗还是在请求返回的等待时间，如果想进一步提高效率那么多进程以及分布式就会你提高效率的最好手段。而且分布式并不意味着你一定要很多台电脑，只要你在本机测试通过一样可以方便迁移。构建分布式爬虫主要是构建分布式环境，至于写爬虫并不复杂。咱们一步步来。小怪兽镇楼目录：redis简介安装测试多机测试scrapy_redis简单应用测试多机协作的redis1.redis简介：redis是一个key-value存储系统，速度很快因为将数 ………………………………