抓取了BiliBili能获取哪些数据？

作者: 张洋铭Ocean | 来源:发表于2017-01-24 11:33 被阅读458次

在知乎上看到一道题目：bilibili 上有哪些值得反复观看的视频？于是动了歪脑袋，决定对bilibili站的视频进行一次遍历。因为上班比较忙，断断续续的做着爬虫，幸运的是我还是做好了，当然这有很大一部分原因是女票对bilibili站视频的榜单很感兴趣。

数据出来了之后开开心心的列了几个榜单

1、bilibili站播放量最高的前100个视频
2、bilibili站评论量最高的前100个视频
3、bilibili站分享量最高的前100个视频
4、bilibili站收藏量最高的前100个视频
5、bilibili站硬币量最高的前100个视频
6、bilibili站弹幕量最高的前100个视频

其实列榜单是一件很容易的事情，无非就是sql语句（信息存储我用的Mysql），以下这个sql就是简单的提取了播放量前一百名的视频信息，其它项同理。

select * from V_score order by v_view desc limit 100;

下面就让我们从头开始说起。

首先按照以往的套路，我们去找找视频的api，F12一下你就知道。

http://api.bilibili.com/archive_stat/stat?aid=

aid后面的数字就是视频的id，通过观察也很好理解他的视频id是从0开始自增长，相当于一个主键，于是我们只要从0开始往后遍历并且取出我们需要的信息即可，简单代码自行实现。

这个json数据相信你们一看就很明白。

然后你可以做一个多线程，要用的库：多线程相关。你可以写个分布式。

class MyThread(Thread):
    """docstring for MyThread"""
    def __init__(self, db):
        super(MyThread, self).__init__()
        self.db = db
    def run(self):
        try:
            global counter, mutex
            while counter < 7000000:
                if mutex.acquire():
                    counter += 1
                    readEver(self.db,counter)
                    mutex.release()
        except:
            pass

然后写入数据库，要用到的库：MySQLdb

def Insert(db,v_id,v_view,v_favorite,v_share,v_reply,
v_coin,v_danmaku):
    """向数据库增加数据,添加失败回滚,指定，列"""
    cursor = db.cursor()
    sql = "INSERT INTO V_score(v_id,v_view,v_favorite,
    v_share,v_reply,v_coin,v_danmaku) VALUES(" + v_id+',
    '+v_view+','+v_favorite+','+v_share+','+v_reply+',
    '+v_coin+','+v_danmaku+')'
    print v_id+','+v_view+','+v_favorite+',
    '+v_share+','+v_reply+','+v_coin+','+v_danmaku
    try:
        cursor.execute(sql)
        db.commit()
    except:
        print 'failed'
        db.rollback()

就这样，数据会陆陆续续的存到数据库里，经过一段很长时间，数据有了。这时候我们去看一下数据库，看一下总数据，看一下表结构。