美文网首页Python爬虫
Python爬取简书30日热门

Python爬取简书30日热门

作者: 龙小江i | 来源:发表于2018-09-29 21:20 被阅读0次

简书似乎是撤销了30日热门板块,但我不打算删除这篇文章,就当是作为我入门爬虫的一个纪念吧。

  • 全部代码
import requests
import pandas as pd
from bs4 import BeautifulSoup
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
url = 'https://www.jianshu.com/trending/monthly?utm_medium=index-banner-s&utm_source=desktop'
r = requests.get(url, headers = headers)
page = BeautifulSoup(r.text, 'lxml')
mod1 = page.findAll('div', 'content')
mod2 = []
for i in range(len(mod1)):
    mod2.append(mod1[i].findAll('a', 'title'))
mod2

相关文章

网友评论

    本文标题:Python爬取简书30日热门

    本文链接:https://www.haomeiwen.com/subject/yjaboftx.html