前言
数据爬虫就是通过代码的形式对于网络上的数据进行爬取,例如获取成都近3年的空气质量数据,如果通过人工收集则太过低效了。所以我们必须借助代码来实现。
数据爬虫主要有两种方式
- 通过网站提供的API进行爬取。
这是最为简单直接的方式,例如豆瓣网提供了对于电影、书籍等资源的各种数据的API,我们可以通过调用API来得到所需的数据。通过API的缺点是有些网站会限制API调用的次数和频率,用户需要付费来升级成高级用户来获取更灵活的API调用。 - 基于HTML的数据抓取
这个方法比较麻烦,优点就是不受API的调用限制。通过访问网页的HTML代码,并从中抓取到所需节点上的数据。这个方法还有一个缺点就是,网页一旦发生一点小小的结构变化,抓取代码就有可能需要重写。
这篇文章中我们将讨论第一种方式。并将以豆瓣电影API为例子实现数据的抓取。
安装Jupyter Notebook
Jupyter Notebook是一个交互式的笔记本,可以理解成是一个IDE,支持40多种语言,而我们将用它来编写Python程序。Jupyter Notebook用起来非常的方便,而且各大数据挖掘类的比赛所使用的文件格式基本都是Jupyter Notebook的。
首先我们在命令行当中使用如下命令打开Python环境,命令中的python36
是我们之前配置的Python运行环境的名字,具体如何设置请参考【大数据】环境配置 。
source activate python36
使用Conda来安装Jupyter Notebook:
conda install jupyter
打开Jupyter Notebook:
jupyter notebook
随后浏览器会被打开,我们会发现Jupyter Notebook是一个嵌入在浏览器当中的编辑器,用起来非常方便。

然后我们找到一个合适的文件位置,点击右上角的New按钮,选择新建一个Python 3的Notebook。这时浏览器会打开一个新窗口,显示一个刚刚创建的Notebook。这时我们可以在文本框中输入Python代码了。

豆瓣API
在这篇文章中我们将尝试通过Python代码来访问豆瓣电影的API,来抓取一些豆瓣上历史评分最高的20部电影的分数。首先我们可以访问豆瓣电影Api文档阅读相关信息。这里我们可以看到,为了实现我们的目的我们需要两组接口:v2/movie/top250
用来获取历史评分最高的20部电影的ID(其实这里已经包含了评分,出于学习目的我们只从中读取电影ID信息)以及/v2/movie/subject/:id
通过电影ID来获取电影的具体信息。
通过Python代码访问豆瓣API
首先这里我们先引入一个urllib
的包来发送http请求。
import urllib.request as request
然后访问豆瓣电影Top250的API用来获取评分最高的20部电影的信息。并通过print函数将内容输出。
url = 'https://api.douban.com/v2/movie/top250'
crawl_content = request.urlopen(url).read()
print(crawl_content)

从截图中我们发现已经有一些我们可以阅读的内容了,但是如何将这些内容提取出来呢?其实这一段内容是一段JSON格式的信息,我们可以通过将其格式化让其变得更具可读性。引入json
工具包并用它对crawl_content
进行格式化。
import json
print(json.loads(crawl_content.decode('utf8')))

此时我们发现内容更加具有可读性,比如这一次请求拿回的条目一共有20条,全部在subjects节点下面。现在我们就可以通过一层一层的节点访问拿到评分最高的20部电影的ID,然后在通过豆瓣电影API去拿到每一部电影的具体信息。

如果我们只想得到片名和评分之间的一个对应关系,我们可以深入到相应的节点上进行爬取。代码如下:
import urllib.request as request
import json
url = 'https://api.douban.com/v2/movie/top250'
crawl_content = request.urlopen(url).read()
top20 = json.loads(crawl_content.decode('utf8'))['subjects']
for movie in top20:
url = 'https://api.douban.com/v2/movie/' + movie['id']
movieContent = request.urlopen(url).read()
print(json.loads(movieContent.decode('utf8'))['title'] + ': ' + json.loads(movieContent.decode('utf8'))['rating']['average'])

这样我们就通过访问API的方式爬取到了我们所需要的数据。
网友评论