爬取豆瓣电影top250并简单分析

作者: 罗罗攀 | 来源:发表于2016-12-09 20:56 被阅读2025次

代码:

import requests
from bs4 import BeautifulSoup
import pymongo
import re

client = pymongo.MongoClient('localhost', 27017)
douban = client['douban']
top250 = douban['top250']

urls = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]

def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    names = soup.select('div.hd > a')
    times = re.findall('<br>(.*?)&nbsp',wb_data.text,re.S)
    places = re.findall(' / (.*?) / ',wb_data.text)
    levels = soup.select('span.rating_num')
    quotes = soup.select('span.inq')
    for name,time,place,level,quote in zip(names,times,places,levels,quotes):
        info = {
            'name': name.get_text().split('/')[0].split('\n')[1],
            'time': time.split('\n')[1].replace(' ',''),
            'place': place,
            'level': level.get_text(),
            'quote': quote.get_text()
        }
        top250.insert_one(info)

for url in urls:
    get_info(url)

实际爬取243条电影,出了一点小问题,建议大家爬取信息进入网站里面去爬会保险点,我这里懒得再重写了。然后导出excel表格,进行分析

简单分析

1.电影拿走不谢,请叫我雷锋
2.美国,日本,中国上榜电影拍前三
3.主要的电影内容:信仰,青春,科幻,情怀等
4.电影数最多的几年为1995~2013,近几年电影较少,原因大概为:虽然制片投入和电影效果越来越好,但内容却没以前那么好了。

相关文章

网友评论

  • 步履不停zz:我用了你的方法显示Process finished with exit code -1073741819 (0xC0000005),请好心楼主帮我解答一下
    罗罗攀:@步履不停zz 嘿嘿
    步履不停zz:@罗罗攀 感谢博主
    罗罗攀:@步履不停曙光 这个还真看不出来,一步步排错吧
  • 紫竹潇潇:攀攀,想知道你的源代码是怎样放上去的,还能设置左右移动
    罗罗攀:@紫竹潇潇 没事的:smile:
    紫竹潇潇:@罗罗攀 嗯嗯,感谢,下午百度了已会操作
    罗罗攀:@紫竹潇潇 这是markdown语法
  • 兰竹_9098:源代码有吗?麻烦发一份可以吗?565837718@qq.com
    罗罗攀:@兰竹_9098 .....文章的代码就是源代码
  • 6bf4671977ce:分析图 怎么做出来的 请指教
    罗罗攀:@噢瑞利 个人bdp,百度一下就可以了

本文标题:爬取豆瓣电影top250并简单分析

本文链接:https://www.haomeiwen.com/subject/fvlymttx.html