看啥推荐读物
专栏名称: Python爱好者社区
人生苦短,我用Python。分享Python相关的技术文章、工具资源、精选课程、视频教程、热点资讯、学习资料等。每天自动更新和推送。
今天看啥  ›  专栏  ›  Python爱好者社区

推荐一款小众且好用的 Python 爬虫库

Python爱好者社区  · 公众号  · Python  · 2021-05-06 17:30
来源:AirPython作者:星安果1. 前言大家好,我是安果!今天推荐一款小众轻量级的爬虫库:RoboBrowserRoboBrowser,Your friendly neighborhood web scraper!由纯 Python 编写,运行无需独立的浏览器,它不仅可以做爬虫,还可以实现 Web 端的自动化项目地址:https://github.com/jmcarp/robobrowser2. 安装及用法在实战之前,我们先安装依赖库及解析器PS:官方推荐的解析器是 「lxml」# 安装依赖pip3 install robobrowser# lxml解析器(官方推荐)pip3 install lxmlRoboBrowser 常见的 2 个功能为:模拟表单 Form 提交网页数据爬取使用 RoboBrowser 进行网页数据爬取,常见的 3 个方法如下:find查询当前页面满足条件的第一个元素find_all查询当前页面拥有共同属性的一个列表元素select通过 CSS 选择器,查询页面,返回一 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照