美文网首页
用Python爬取猫眼电影排行榜TOP100

用Python爬取猫眼电影排行榜TOP100

作者: 小董不太懂 | 来源:发表于2019-05-14 15:45 被阅读0次

主要步骤有：

访问网站，获取页面源码
解析页面，得到想要的数据
循环爬取多个页面
把数据写入本地文件

1. 分析需要爬取的页面结构

访问猫眼电影。观察页面，会看到首页上有排名前十的电影信息。
找到页面中的分页，点击不同的页码。对比不同页面url的差别，会发现不同的分页是以offset参数作为区分的。
因为每个页面都显示10条电影信息，所以offset是以10作为偏移量的。所以第1页的offset=0，第2页的offset=10，第3页的offset=20，后面的页面也是以此类推。

2. 抓取首页

2.1 获取首页的源码

首先定义一个方法，请求页面，并获得页面源码：

import requests
from requests.exceptions import RequestException

headers = {'user-agent':'mozilla/5.0'}

def get_one_page(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def main():
    url = 'https://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)

if __name__ == '__main__':
    main()

在打印结果中，可以看到页面的源码已经返回。
获取到的源码中，有很多的信息不是我们需要的，这时候，需要把有用的信息提取出来。

2.2 使用正则提取信息

使用谷歌浏览器的开发者工具查看页面的源代码，可以发现我们需要的信息都包含在标签中。
排名信息包含在class为board-index的i标签中；
片名信息包含在class为name的p标签内的a标签中；
主演姓名包含在class为star的p标签中；
上映日期包含在class为releasetime的p标签中；
评分分别包含在class为integer和fraction的i标签中；
电影封面图在class为board-img的img的src属性中；
因此，可以写一个正则表达式来提取一个电影的上述信息:

pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name.*?<a.*?">(.*?)</a>'
                        '</p>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?score.*?'
                        'integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
   items = re.findall(pattern, html)

把上面的正则表达式加入到代码中：

import re
import requests
from requests.exceptions import RequestException

headers = {'user-agent':'mozilla/5.0'}

def get_one_page(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name.*?<a.*?">(.*?)</a>'
                         '</p>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?score.*?'
                         'integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    print(items)


def main():
    url = 'https://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)
    parse_one_page(html)

if __name__ == '__main__':
    main()

下面就是见证奇迹的时刻：



可以看到，上面的输出结果可读性不是很好，把方法parse_one_page改进如下：

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name.*?<a.*?">(.*?)</a>'
                         '</p>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?score.*?'
                         'integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:],
            'score':item[5]+item[6]

        }

至此，单页的电影信息已经获取完毕。
接着将获取到的信息保存到文本文件中，以供后续的使用。

2.3 写入文件

使用JSON库的dumps()方法实现字典的序列化，并指定ensure_ascii参数为False，这样可以保证输出结果是中文形式，整理代码如下：

import json
import re
import requests
from requests.exceptions import RequestException

headers = {'user-agent':'mozilla/5.0'}

def get_one_page(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name.*?<a.*?">(.*?)</a>'
                         '</p>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?score.*?'
                         'integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:],
            'score':item[5]+item[6]

        }

def write_to_file(content):
    with open('result.text', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main():
    url = 'https://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)
    parse_one_page(html)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    main()

这时候就会发现本地多了一个名为result.txt的文件，打开查看，里面存放了首页排名前10的电影的各个信息。
接下来爬取另外页面的电影信息。

3. 爬取其余页面

爬取其余页面，只需要对应调整url的offset参数即可，改写main方法如下：

def main(offset):
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    print(html)
    parse_one_page(html)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(i * 10)
        time.sleep(1)

为了防止过快请求页面，被封，加入一个延时等待，最终代码如下：

import json
import re
import time

import requests
from requests.exceptions import RequestException

headers = {'user-agent':'mozilla/5.0'}

def get_one_page(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name.*?<a.*?">(.*?)</a>'
                         '</p>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?score.*?'
                         'integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:],
            'score':item[5]+item[6]

        }

def write_to_file(content):
    with open('result.text', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    print(html)
    parse_one_page(html)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(i * 10)
        time.sleep(1)

查看result.txt，会发现排名前100名的电影信息已经整齐的写入到了文件中。
还有一种多线程的方法更快更高效哦

import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Pool

headers = {'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4)AppleWebKit/537.36(KHTML,like Gecko)Chrome/52.0.2743.116 Safari/537.36'}
#提取单页内容，用try，except方便找bug
def get_one_page(url):
    try:
        
        response = requests.get(url, headers=headers)#传入headers参数
        if response.status_code == 200:
            return response.text
        return response.status_code
    except RequestException:#捕获这个类型的异常
        return None

def parse_one_page(html):#定义一个函数用来解析html代码
    #生成一个正则表达式对象
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a' #此处换行
        +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
        +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    #items是一个list,其中的每个内容都是一个元组
    #将杂乱的信息提取并格式化，变成一个字典形式
    for item in items:
        yield { #构造一个字典
            'index': item[0],
            #'image': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],#做一个切片，去掉“主演：”这3个字符
            'time': item[4].strip()[5:],#做一个切片，去掉“上映时间：”这5个字符
            'score': item[5]+item[6]#将小数点前后的数字拼接起来
        }

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
    #a表示模式是“追加”；采用utf-8编码可以正常写入汉字
        f.write(json.dumps(content, ensure_ascii = False) + '\n')#不允许写入ascii码
        #content是一个字典，我们需要转换成字符串形式，注意导入json库        
        f.close()


def main(offset):
    url= 'http://maoyan.com/board/4?offset='+str(offset)#把offset参数以字符串形式添加到url中
    html = get_one_page(url)
    for item in parse_one_page(html):#item是一个生成器
        print(item)
        write_to_file(item)


if __name__ == '__main__':

        pool = Pool()#创建一个进程池
        pool.map(main,[i*10 for i in range(10)])#map方法创建进程（不同参数的main），并放到进程池中

爬取最受欢迎榜

原理还是一样的，只需要确定一下要筛选什么信息（因为这和TOP100略有不同），并且修改一下正则表达式和一些小细节即可。

from multiprocessing.pool import Pool
import requests
import re
import json
from requests.exceptions import RequestException

headers = {
    "user-agent":"mozilla/5.0"
}
def get_one_page(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'
                         '.*?data-src="(.*?)".*?</a>.*?name.*?<a.*?">(.*?)</a>'
                         '</p>.*?star">(.*?)</p>.*?releasetime"(.*?)</p>'
                         '.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:]
        }

def write_to_file(content):
    with open('mayan_hot_top50.text','a',encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
    url = 'https://maoyan.com/board/6?offset=' + str(offset)
    html = get_one_page(url)
    parse_one_page(html)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    pool = Pool()
    pool.map(main, [i*10 for i in range(5)])

相关文章

网友评论

      本文标题：用Python爬取猫眼电影排行榜TOP100

      本文链接：https://www.haomeiwen.com/subject/vziraqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|用Python爬取猫眼电影排行榜TOP100|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！