爬虫的基本原理及应用场景

本文作者： 小课lemon本文来源：产品的技术小课（pm_it_course）---BEGIN---什么是爬虫？爬虫就是使用任何技术手段，批量获取网站信息的一种方式，关键在于批量。说白了其实就是模拟真正用户去请求获取大量数据。下面将介绍爬虫的方式以及实际应用场景。目录1、爬虫的方式2、爬虫的应用场景3、反爬虫策略爬虫的方式爬虫从网页交互维度，主要分成2种方式，分别是常规爬虫和自动化爬虫。1、常规爬虫常规爬虫也叫裸写代码爬虫，是最原始的一种爬虫方式。比如想爬取微博热搜榜，需要经过3个步骤：1、确定目标地址分析页面请求格式 找到微博实时热搜的网页地址：https://s.weibo.com/top/summary?cate=realtimehot2、目标信息解析 请求到具体页面后，需要解析页面里面的数据， ………………………………