Python分布式爬虫详解（三）

数据科学俱乐部中国数据科学家社区上一章中，利用scrapy-redis做了一个简单的分布式爬虫，虽然很一般（只有30个请求）但是基本能说清楚原理，本章中，将对该项目进行升级，使其成为一个完整的分布式爬虫项目。Python分布式爬虫详解（一）Python分布式爬虫详解（二）本章知识点：a.代理ip的使用b.Master端代码编写c.数据转存到mysql一、使用代理ip在 中，介绍了ip代理池的获取方式，那么获取到这些ip代理后如何使用呢？首先，在setting.py文件中创建USER_AGENTS和PROXIES两个列表：USER_AGENTS = [    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safa ………………………………