教你用Python爬取哔哩哔哩全站用户信息

运行

下载

git clone https://github.com/cexll/bili_user_Spider.git

运行环境

依赖

pip install -r requirements.txt

运行

python3 spider.py

思路

运行过程

数据来源

分析代码

def run(mid):
 """
 运行函数
 """
 
 # 进入用户主页
 get_space(mid)
 # 获取关注数量和粉丝数量
 f, g = get_myinfo(mid)
 # 获取关注用户信息
 f_g_ps = 50
 f_g_pn = int(g / f_g_ps)+1
 if f_g_pn <= 1:
 get_followers(mid, 1, f_g_ps)
 else:
 for g_pn in range(1, f_g_pn):
 get_followings(mid, g_pn, f_g_ps)
 
 # 获取粉丝用户信息
 f_r_ps = 50
 f_r_pn = int(f / f_r_ps)+1
 print(f_r_pn)
 if f_r_pn <= 1:
 get_followers(mid, 1, f_r_ps)
 else:
 for r_pn in range(1, f_r_pn): 
 get_followers(mid, r_pn, f_r_ps)
 # 循环
 rep_run()

核心代码

def rep_run():
 """
 当上一个mid所有事情完成后进入此函数进行循环爬取下一个mid
 """
 global MIN
 # 每次运行此函数使MIN加一,不能大于max(数据库count)
 MIN += 1
 collection = db.list
 # 查询数据库所有数据保存到result
 if collection.find({'id': MIN}):
 ran = collection.find({'id': MIN})
 # 查询数据库有多少条
 count = collection.find({}).count()
 for x in ran:
 mid = x.get('mid')
 if MIN > count:
 print('程序即将停止运行,所有信息爬取完成')
 time.sleep(10)
 exit()
 else:
 run(mid)
 else:
 print('数据库没有该数据 id: {}'.format(MIN))

分析

性别分布情况

用户增长情况