Scrapy之10行代码爬下电影天堂全站

作者：  张小鸡  Python爱好者社区专栏作者知乎ID：https://www.zhihu.com/people/mr.ji个人公众号：鸡仔说  前言scrapy的强大相信大家已早有耳闻，之前用的时候只是感觉它爬取效率高，内部的异步封装很友好。殊不知我看到的知识冰山一角，它还有很多提高开发效率的功能，今天就以一个实例带大家窥探一二工具环境语言：python3.6编辑器：Pycharm数据库：MongoDB框架：scrapy1.5.1温馨提示：阅读此文可能需要对scrapy框架有基本的了解，对xpath解析有一个基本的了解爬取思路爬取站点：dytt8.net/这样的站点我一眼望过去就想给站长打Q币，为什么啊？这站点简直是为爬虫而生啊？你看，一点花里胡哨的东西都没有，我们小眼一瞅便知，和我们不相关的就只是游戏部分的资源。我们需要 ………………………………