Python神技能 | 使用爬虫获取汽车之家全车型数据

最近想在工作相关的项目上做技术改进，需要全而准的车型数据，寻寻觅觅而不得，所以就只能自己动手丰衣足食，到网上获（窃）得（取）数据了。汽车之家是大家公认的数据做的比较好的汽车网站，所以就用它吧。（感谢汽车之家的大大们这么用心地做数据，仰慕）俗话说的好，“十爬虫九python”，作为一只java狗，我颤颤巍巍地拿起了python想要感受一下scrapy的强大。。。在写这个爬虫之前，我用urllib2,BeautifulSoup写了一个版本，不过效率太差，而且还有内存溢出的问题，作为python小白感觉很无力，所以用scrapy才是正道。嗯，开搞。准备工作安装python，版本是2.7安装scrapy模块, 版本是1.4.0参考汽车之家车型数据爬虫[https://github.com/LittleLory/codePool/tree/master/python/autohome_spid ………………………………