爬虫练习之找出B站最受欢迎的编程课程

首先感谢【小甲鱼】极客Python之效率革命。讲的很好，通俗易懂，适合入门。

感兴趣的朋友可以访问https://fishc.com.cn/forum-319-1.html来支持小甲鱼。谢谢大家。
想要学习requests库的可以查阅： https://fishc.com.cn/forum.php?mod=viewthread&tid=95893&extra=page%3D1%26filter%3Dtypeid%26typeid%3D701

要求：找出B站上那些播放量、弹幕排名靠前的编程类视频

下面的脚本是直接搜“编程”出现的20条记录，我们把标题给爬下来

# -*- coding:UTF-8 -*-
import requests
import bs4

res = requests.get("https://search.bilibili.com/all?keyword=%E7%BC%96%E7%A8%8B&from_source=banner_search")

with open('bilibili.txt', 'w', encoding='utf-8') as file:
    file.write(res.text)
    file.close()

soup = bs4.BeautifulSoup(res.text, 'html.parser')
titles = soup.find_all("li", class_="video matrix")
for each in titles:
    print(each.a['title'])

输出：

[小甲鱼]零基础入门学习Python
零基础自学编程，不要学Python！| 推荐 2019 年适合学习的编程语言
Java零基础教程视频（适合Java 0基础，Java初学入门）
【C++入门】老九零基础学编程C++入门 老九学堂 徐嵩老师主讲
Python教程_600集Python从入门到精通教程（懂中文就能学会）
程序员直播写代码，数十万网友捧场，看看这段代码有多牛掰
家里蹲一年半，从零开始做独立游戏的心得
大家以为的编程是这样，然而实际上...
世界编程大赛前三名作品【每个exe只有64KB】（附下载链接）
当你精通了c++是什么感觉
史上最强C语言入门基础教程,从菜鸟到高手,学完可达企业级水平（1）
【算法】算法导论-麻省理工
自从学会了Python，我从来不为看什么电影发愁，好看的，付费的，百度不到资源的全部一网打井！
【完结C语言视频】老九零基础学编程C语言 老九学堂 徐嵩老师主讲
B站最强程序员耗时30分钟 300行代码，镇住腾讯高管!腾讯：聘用！
【微信小程序】从入门到入土课程
算法大神带你玩转数据结构 从入门到进阶 - 手把手从底层实现数据结构，层层深入，帮你提升编程内功
程序员面试因年龄大遭嫌弃，200行代码写下这个特效后，收到5份offer
Android精彩编程200例（全彩版）
李南江亲授-jQuery+Ajax从放弃到知根知底

如果print出去有编码问题报错，见另外一篇文章。

当然，我们也可以根据综合排序、最多点击、最新发布、最多弹幕、最多收藏进行排序；也可以根据视频时长进行排序；也可以根据所属区域进行排序。

下面写一个根据某个视频获得标签的脚本

import requests
import bs4

url = "https://www.bilibili.com/video/av4050443?from=search&seid=10111140175964360887"

def get_html(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    res = requests.get(url, headers=headers)

    return res.text

def get_tags(url):
    text = get_html(url)
    soup = bs4.BeautifulSoup(text, "html.parser")
    tags = soup.select("#v_tag > ul > li")  # 主要是这个去定位标签
    # tags = soup.select("ul[class = 'tag-area clearfix'] > li") 也可以这样写
    tags = [each.a.text for each in tags]
    return tags

def main():
    text = get_tags(url)
    with open('span.txt', 'a', encoding="utf-8") as file:
        file.write(str(text))
        file.close()

if __name__ == '__main__':
    main()

这样，只要你给我一个视频的URL，我就还你该视频的标签。返回是一个列表的形式。这样为下节课的词云操作可以提供文本。