一篇文章搞定 Scrapy 爬虫框架

Scrapy框架Scrapy是用Python实现的一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。Scrapy使用Twisted基于事件的高效异步网络框架来处理网络通信，可以加快下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy架构Scrapy Engine引擎，负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。此组件相当于爬虫的“大脑”，是整个爬虫的调度中心调度器(Scheduler)调度器接收从引擎发送过来的request，并将他们入队，以便之后引擎请求他们时提供给引擎初始的爬取URL和后续在页面中获取的待爬取的URL将放入调度器中，等待爬取。同时调度 ………………………………