MediaCrawler，轻松爬取抖音小红书评论数据！

大数据文摘受权转载自法纳斯特今天给大家介绍一个Python爬虫实战的项目，MediaCrawler。可以实现小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫。目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。项目地址：https://github.com/NanmiCoder/MediaCrawler原理：利用playwright搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数 通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低。下面小F就来介绍下如何使用~首先使用conda创建虚拟环境，Python版本3.9。激活环境后，安装相关的依赖。# 创建conda环境conda create --name MediaCrawler python=3.9# 激活环境conda activate MediaCrawler# 安装相关依赖pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple# 安装playwright浏览器驱动playwright install ………………………………