我写了一个爬虫…

作者: oldwhale | 来源:发表于2017-05-17 22:03 被阅读174次

前几天在大神指导下动手写了年轻人第一个算得上程序的程序。
一个豆瓣电影 TOP250 爬虫
完整代码已经开源，放在我的 GitHub 上

Mindnode

网络爬虫

什么是网络爬虫？

用人话讲，爬虫就是一个从互联网上抓取信息的程序，比如我们需要一些电影信息，可以上新闻网站，或者我们需要一些新闻，可以上新闻网站，当然我们最多的是使用搜索引擎，关于搜索引擎后边会讲到。
当然这只在获取少量信息的时候管用，如果我想要找的有几千几万条的信息呢，这时候靠人工就显得太费时了。当我们想获取数据，只要网络上有的，都可以通过爬虫程序去抓取，所以爬虫就是一种获取数据的程序。

当我们上网的时候，我们在干什么？

下边以我们经常用来测试网络的一个网站为例
当我们在浏览器中输入baidu.com按下回车之后发生了什么？

浏览器会自动帮我们补齐https://www.baidu.com
浏览器首先向 DNS 服务器请求了baidu.com对应的 IP 地址；
浏览器得到 IP 地址之后，就会向这个地址发送一个 HTTP 请求；
然后从百度的服务器端请求到首页的 HTML 源码；
最后通过浏览器引擎解析源码，再次向服务器发请求得到里面引用的 Javascript、CSS、图片啊一些资源，最后就得到了百度首页。

爬虫要干什么？

大多数情况下，爬虫其实就是在模拟上面说的过程。
当然爬虫不会全部模拟一遍，而是会选择合适的步骤模拟。
比如大多数情况下只需要请求 HTML 源码，并不需要请求 CSS 和 Javascript 。在得到源码后，就像浏览器会解析 HTML 源码一样，爬虫也会解析 HTML，然后筛选出我们想要的内容保存。

爬虫在哪儿？

最大的爬虫是什么？
当然是 Goolge，百度等等这些搜索引擎，当然这种说法只是通俗意义上的，搜索引擎大致分为下载系统、分析系统、索引系统和查询系统，爬虫是搜索引擎的第一道门槛。
再譬如，据说有几亿人在用的新闻客户端，没错，就是今日头条，其就是依靠爬虫，在网易新闻、腾讯新闻、搜狐新闻和其他新闻网站上爬取新闻数据，虽然这种做法有点不道德吧…

爬虫有什么用？

第一个例子是一个另类的资讯 APP——即刻，它不制造新闻，也不同今日头条无节操的从友商那拿东西，他完全可以自己定制或是选择别人已经制作好的话题来进行追踪，比如什么电脑病毒在全世界爆发了，像这些天闹得比较火热的比特币病毒，比如宫崎骏新作的最新消息啦，比如谁谁谁男神女神点赞微博了，又比如哪部电视剧更新了，这么多的提醒如果完全靠人工编辑审核那不得累死，估计即刻都活不过几个月，但是这些提醒大多数靠的并不是人工，而是网络爬虫，这些爬虫从社交网络，比如微博，从视频网站，从其他地方抓取想要的信息然后推送。
第二个例子也是一个 App —— Price Tag，一个 IOS 上的查价 App，也是一位在杭州的独立开发者 61 开发的，他就利用了爬虫在 App Store 服务器中爬取应用的价格，然后将 App 的价格用图表的形式直观的显示出来。当然你也会说爬取到价格之后有什么用呢？说的直白点，如何变现呢？还是以 Price Tag 为例，61 在两方面进行变现，一个是通过 App 的内购，还有一个是通过和 Apple 合作，获取联盟令牌，这样用户在 Price Tag 中查询点击进行的购买行为，61 就能分到 7% 的佣金。

Python

什么是 Python？

从我的感官来说，Python 是一种类似于我们学过的 C 和 C++ 的高级语言，但其语法比 C 和 C++ 简单的多的多。
同时，Python 更多的又被叫做脚本语言。
Python 被大量应用于 WEB 开发中，比如在国内不存在的网站 YouTuBe、Instagram，还有小资文艺聚集地豆瓣、知乎、果壳，这些都是完全用 Python 开发的，为什么呢？

因为文艺青年都穷，所有东西都得一个人搞，于是就只能用 Python 了。
——这是在知乎上看到的一个回答

当然这不只是说笑，从这个回答也可以看出 Python 的强悍，因为它的各个模块都是现成的，拿过来就能用，不用像 C++ 那样要用到一个模块还得自己去写。

为什么选择 Python？

其一:语法简单
举个实例，完成一个最简单的程序，显示请输入你的名字然后从键盘输入名字最后显示Hello，名字

用 C 语言写

#include<stdio.h>`
#include<string.h>`
int main()
{
char name[20];
printf(“Please enter U name:”);
scanf(“%s”,name);
printf(“Hello,%s”,name);
}

用 C++ 写

#include<iostream>
#include<string>
using namespace std;
int main()
{
char name[20];
cout<<“Please enter U name:”<<endl;
cin>>name;
cout<<“Hello,”<<name<<endl;
}

用 Python 写

print('Hello,',input('Please enter U name:'))

结果显而易见

其二:Python 有成熟的爬虫脚本语言，正因为是脚本语言，编写调试方便，而且有多线程更加高效。

豆瓣电影 TOP250 实战

搭建开发环境

我在这里装了 Python 3.6
接着再需要安装两个第三方库，Requests 和 BeautifulSoup
Requests 用于处理 HTTP 请求；
BeautifulSoup 用来解析 HTML 源码；
这两个库在接下来会用到。

分析 HTML 结构

开发环境搭建完成，编写爬虫之前，我们需要先思考爬虫需要干什么？目标网站有什么特点。
今天我们的目标是把豆瓣电影 TOP250网站上所有的电影名称，上映年份，评分，拍摄地区和电影简介爬下来。
先打开豆瓣电影 TOP250，检查分析网站源码。

OK，在 HTML 源码中我们可以得到一些信息了。

每页有25条电影，共有10页。
电影列表在页面上的位置为一个class属性为grid_view的ol标签中。
每条电影信息放在这个ol标签的一个li标签里。
电影名称放在一个class属性为title的span标签中。
上映年份，拍摄地区放在一个class属性为bd的div标签下的一个p标签中。
评分放在一个class属性为star的div标签下的一个 class 属性为rating_num的span标签中。

下载网页源码

import requests as r
url = 'https://movie.douban.com/top250'
html = r.get(url).text
print(html)

只需要三句，最后一句打印出来用来判断下载源码是否成功。
网页源码已经在控制台打印出来。

解析网页

OK，当我们拿到网页源码之后，就需要解析 HTML 源码了。
这里，我们使用 BeautifulSoup 来搞定这件事。

import requests as r
from bs4 import BeautifulSoup as bs
url = 'https://movie.douban.com/top250'
html = r.get(url).text
items = bs(html).find_all('div','item')
for item in items:
    movie_name = item.find('span','title').string
    movie_rating = item.find('span','rating_num').string
    movie_quote = item.find('span','inq').string
    movie = (movie_name,movie_rating,movie_quote)
    print(str(movie))

正则表达式

电影名称，评分，简介就在父标签中，从电影信息的父标签匹配就可以拿到，但是上映年份和拍摄地区和其他的信息一起在一个父标签中，无法单独拿出来，这时候就需要用到正则表达式了。
如何从这里取出上映年份呢，年份都是四个数字吧，所有只要取出四个数字，用正则表达式是 \d{4}
那拍摄地区又该怎么取出呢？拍摄地区在两个斜杠之间，所以我们只要取出两个斜杠之间的信息，所以正则表达式是 (?<=\d./).*(?=/)
这边解释一下
(?<=\d./) 匹配1个数字后面跟斜杠，但是输出结果不包含斜杠
(?=/) 匹配后面跟斜杠，但是输出不包括斜杠。
.* 代表除换行符外任意字数的任意字符

movie_info = item.find('div','bd').find('p','').get_text()
movie_year = re.findall('\d{4}',movie_info)[0]
movie_nation = re.findall('(?<=\d./).*(?=/)',movie_info)[0]

如何翻页

到这一步，我们已经得到了当前页想要的数据，那么如何处理翻页的问题呢？

第一个想到办法是找到页码导航页的“下一页”的链接，也很容易实现。
第二个办法是观察 URL 结构发现的
所以可以用列表推导的方式来实现翻页

url = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,226,25)]

多线程

在完成基本的架构之后，就要开始进行优化了。
爬虫一定要多线程，不然当爬大量数据时就太慢了
比如说，如果你用单线程发送一个请求，那必须在等结果返回之后再去发送下一个请求，而多线程呢，在发送完一个请求之后，不用等到结果返回，继续发送下一个请求，这样就减少了 CPU 的等待时间，也提高了 CPU 的使用效率。

拼装

OK，到了最后一步，完成写入模块后把程序拼装成一个完整的程序。但这个时候又遇到了一个问题，每次都只能爬到 107 个数据，之后就开始报错。
然后进网站去看了第 108 个数据，发现……

……

这丫的疯狂动物城没有简介……
所以在简介这里加个判断进去。
OK，到这里一段完整的豆瓣电影 TOP250 爬虫就写完了。

#!/usr/bin/env python
# encoding=utf-8

from bs4 import BeautifulSoup as bs
import requests as r
import csv
import re
import codecs
from multiprocessing.dummy import Pool
movies = []
url = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,226,25)]
def soup(url):
    html = r.get(url).text
    items = bs(html).find_all('div','item')
    for item in items:
        movie_name = item.find('span','title').string
        movie_rating = item.find('span','rating_num').string
        try:
            movie_quote = item.find('span','inq').string
        except:
            movie_quote='none'
        movie_info = item.find('div','bd').find('p','').get_text()
        movie_year = re.findall('\d{4}',movie_info)[0]
        movie_nation = re.findall('(?<=\d./).*(?=/)',movie_info)[0]
        movie = (movie_name,movie_year,movie_rating,movie_nation,movie_quote)
        #print(str(movie))
        movies.append(movie)

pool = Pool()
pool.map(soup, url)
pool.close()
pool.join()

with codecs.open('DoubanMovieTOP250.csv','w','utf-8',newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(["电影名称","上映年份","评分","地区","简介"])
    writer.writerows(movies)

运行

运行程序，生成一个 CSV 文件。

CSV

数据浅析

筛选结果

电影拿走不谢，请叫我雷锋
美国，中国，日本上榜电影排前三
主要的电影内容：信仰，青春，科幻，情怀等
电影数最多的几年为 1995~2013，近几年电影较少，总结了一下原因，大概是：虽然制片投入和电影效果越来越好，但内容却没以前那么好了，换句话说，人人可以当导演的年代，编剧才是最重要的。