看啥推荐读物
专栏名称: 神光的编程秘籍
坚持原创,用心写文。分享前端编译、Node.js、VSCode、Three.js、Typescript 等前端技术。
今天看啥  ›  专栏  ›  神光的编程秘籍

写个爬虫,爬取 Boss 直聘全部前端岗位

神光的编程秘籍  · 公众号  ·  · 2024-05-05 22:52
我们在找工作的时候,都会用 boss 直聘、拉钩之类的 APP 投简历。根据职位描述筛选出适合自己的来投。此外,职位描述也是我们简历优化的方向,甚至是平时学习的方向。所以我觉得招聘网站的职位描述还是挺有价值的,就想把它们都爬取下来存到数据库里。今天我们一起来实现下。爬取数据我们使用 Puppeteer 来做,然后用 TypeORM 把爬到的数据存到 mysql 表里。创建个项目:mkdir jd-spidercd jd-spidernpm init -y进入项目,安装 puppeteer:npm install --save puppeteer我们要爬取的是 boss 直聘的网站数据。首先,进入搜索页面,选择全国范围,搜索前端:然后职位列表的每个点进去查看描述,把这个岗位的信息和描述抓取下来:创建 test.jsimport puppeteer from 'puppeteer';const browser = await puppeteer.launch({    headless: false,    defaultViewport: {        width: 0,    ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照