前言
数据爬虫就是通过代码的形式对于网络上的数据进行爬取，例如获取成都近3年的空气质量数据，如果通过人工收集则太过低效了。所以我们必须借助代码来实现。
数据爬虫主要有两种方式
- 通过网站提供的API进行爬取。
这是最为简单直接的方式，例如豆瓣网提供了对于电影、书籍等资源的各种数据的API，我们可以通过调用API来得到所需的数据。通过API的缺点是有些网站会限制API调用的次数和频率，用户需要付费来升级成高级用户来获取更灵活的API调用。 - 基于HTML的数据抓取
这个方法比较麻烦，优点就是不受API的调用限制。通过访问网页的HTML代码，并从中抓取到所需节点上的数据。这个方法还有一个缺点就是，网页一旦发生一点小小的结构变化，抓取代码就有可能需要重写。
这篇文章中我们将讨论第一种方式。并将以豆瓣电影API为例子实现数据的抓取。
安装Jupyter Notebook
Jupyter Notebook是一个交互式的笔记本，可以理解成是一个IDE，支持40多种语言，而我们将用它来编写Python程序。Jupyter Notebook用起来非常的方便，而且各大数据挖掘类的比赛所使用的文件格式基本都是Jupyter Notebook的。
首先我们在命令行当中使用如下命令打开Python环境，命令中的python36是我们之前配置的Python运行环境的名字，具体如何设置请参考【大数据】环境配置 。
source activate python36
使用Conda来安装Jupyter Notebook：
conda install jupyter
打开Jupyter Notebook：
jupyter notebook
随后浏览器会被打开，我们会发现Jupyter Notebook是一个嵌入在浏览器当中的编辑器，用起来非常方便。
Jupyter Notebook
然后我们找到一个合适的文件位置，点击右上角的New按钮，选择新建一个Python 3的Notebook。这时浏览器会打开一个新窗口，显示一个刚刚创建的Notebook。这时我们可以在文本框中输入Python代码了。
新建的Notebook
豆瓣API
在这篇文章中我们将尝试通过Python代码来访问豆瓣电影的API，来抓取一些豆瓣上历史评分最高的20部电影的分数。首先我们可以访问豆瓣电影Api文档阅读相关信息。这里我们可以看到，为了实现我们的目的我们需要两组接口：v2/movie/top250用来获取历史评分最高的20部电影的ID（其实这里已经包含了评分，出于学习目的我们只从中读取电影ID信息）以及/v2/movie/subject/:id通过电影ID来获取电影的具体信息。
通过Python代码访问豆瓣API
首先这里我们先引入一个urllib的包来发送http请求。
import urllib.request as request
然后访问豆瓣电影Top250的API用来获取评分最高的20部电影的信息。并通过print函数将内容输出。
url = 'https://api.douban.com/v2/movie/top250'
crawl_content = request.urlopen(url).read()
print(crawl_content)
crawl_content
从截图中我们发现已经有一些我们可以阅读的内容了，但是如何将这些内容提取出来呢？其实这一段内容是一段JSON格式的信息，我们可以通过将其格式化让其变得更具可读性。引入json工具包并用它对crawl_content进行格式化。
import json
print(json.loads(crawl_content.decode('utf8')))
格式化后的crawl_content
此时我们发现内容更加具有可读性，比如这一次请求拿回的条目一共有20条，全部在subjects节点下面。现在我们就可以通过一层一层的节点访问拿到评分最高的20部电影的ID，然后在通过豆瓣电影API去拿到每一部电影的具体信息。
20部电影的具体信息
如果我们只想得到片名和评分之间的一个对应关系，我们可以深入到相应的节点上进行爬取。代码如下：
import urllib.request as request
import json
url = 'https://api.douban.com/v2/movie/top250'
crawl_content = request.urlopen(url).read()
top20 = json.loads(crawl_content.decode('utf8'))['subjects']
for movie in top20:
url = 'https://api.douban.com/v2/movie/' + movie['id']
movieContent = request.urlopen(url).read()
print(json.loads(movieContent.decode('utf8'))['title'] + ': ' + json.loads(movieContent.decode('utf8'))['rating']['average'])
片名与评分
这样我们就通过访问API的方式爬取到了我们所需要的数据。
网友评论