看啥推荐读物
专栏名称: Python学习交流
每天更新,更新python相关的知识。希望诸君有所收获!
今天看啥  ›  专栏  ›  Python学习交流

如果利用Python爬取B站上千万数据?B站直播都是大屌萌妹吗?

Python学习交流  · 公众号  · Python  · 2018-06-08 16:16
粉丝独白说起热门的B站相信很多喜欢玩动漫的,看最有创意的Up主的同学一定非常熟悉。我突发奇想学Python这么久了,为啥不用Python爬取B站中我关注的人,已经关注的人他们关注的人,看看全站里面热门的UP主都是是哪些。要点:- 爬取10万用户数据- 数据存储- 数据词云分析1.准备阶段写代码前先构思思路:既然我要爬取用户关注的用户,那我需要存储用户之间的关系,确定谁是主用户,谁是follower。存储关系使用数据库最方便,也有利于后期的数据分析,我选择sqlite数据库,因为Python自带sqlite,sqlite在Python中使用起来也非常方便。数据库中需要2个表,一个表存储用户的相互关注信息,另一个表存储用户的基本信息,在B站的用户体系中,一个用户的mid号是唯一的。然后 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照