揭秘使用Selenium爬取拉钩数据分析职位招聘信息的全过程……

文章预览

Abstract 　　本文主要介绍了使用Selenium爬取拉钩数据分析职位招聘信息的过程。 WHY 　　海投简历的了无音讯让我对自己对招聘市场的认知产生了怀疑，因此，想要对招聘市场行情进行分析，这是数据分析的前置步骤——数据获取。 HOW 　　本文使用Python的Selenium、BeautifulSoup、pandas等包爬取了拉钩搜索“数据分析”岗位所得的职位信息，并存入csv中。具体步骤： response获取 　　在拉钩主页搜索“数据分析”，定位为全国，取得url，构建bronser对象，使用bronser打开url from selenium import webdriver from bs4 import BeautifulSoup import time import pandas as pd bronser = webdriver.Chrome() bronser.get('https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?px=default =%E5%85%A8%E5%9B%BD#order') url解析 　　第一层是一 ………………………………