网络蜘蛛的基本素养（python爬虫入门篇：介绍和原生库）

大部分爬虫教材会把网络爬虫比作一只蜘蛛，而蜘蛛网则是我们的网络，这只蜘蛛会把触手伸向不同的地方，从而获取网络上的内容。

事实上，我认为一个好的爬虫，或者是蜘蛛，应当具备以下素质：

• 不勤劳的蜘蛛不是一只好爬虫

这是作为一只存活在互联网这张大网上的蜘蛛的基本素养。所谓勤劳，就是能够完成自己的基本使命（爬取数据), 孜孜不倦，任劳任怨

• 不机灵的蜘蛛死的早

试想一下，蜘蛛在自己的八卦阵（网络）中迷失了方向，那可能只剩下死掉了，所以作为蜘蛛，除了要勤劳外，还需要机灵，具体描述就是：不迷失方向(爬取正确的url)、 遇到困难不退缩（能各种网络异常）、 不干不必要的工作（避免重复）

• 不严谨的蜘蛛跑断腿也没用

尽管我们的蜘蛛已经聪明又勤劳了，但是如果粗心大意不严谨，大部分情况下爬了好久好久还是一点食物都吃不到，原因就是不严谨，可能找到了过期的、不能吃的食物（数据分析不合理）

我们了解了一只网络蜘蛛的基本素养，接下来我们就开始学习它吧：

爬虫原理

参见上面网络蜘蛛的基本素养，我们大概已经知道了爬虫需要做的事情，无非就是如下几个阶段：

1. 确定目标（url），也就是得到需要获取内容的url
2. 伪装接近（验证机制），也就是要骗过目标的防御系统，如伪装成浏览器
3. 发送请求（request），获取信任之后，我们就可以大胆的发送请求到目的地了
4. 捕获响应（response），当目标有了反馈以后捕获响应的内容
5. 获取数据（getdata），拿到响应的数据之后，需要对数据进行分析和筛选
6. 重复1-5 （repeat）， 确定新目标，然后继续做一名勤劳、机灵严谨的蜘蛛

用python来讲，就是通过代码实现对目标地址的访问（走完http request和response的流程，获取response之后再做数据筛选）

获取内容

python中的urllib和urllib2两个原生库提供了我们发送http request和获取 http response的全部实现。通过使用这两个库，可以很简单的获取网络内容，大致分为如下几步。

确定目标（url）

也就是确定我们要爬区的页面的url

伪装接近

很多站点都对用户访问做了一些验证，比如通过查看headers内的信息，来确定访问来源

HTTP Headers是HTTP请求和相应的核心，它承载了关于用户端流览器，请求页面，伺服器等相关的资讯。具体关于headers的详细信息参见 什么是HTTP Headers

比如，大部分网站会验证Headers内的 User-Agent 来确定请求是不是从浏览器发出，我们则可以伪造一个user-agent封装成headers（headers在python内以字典的结构表现）

发送请求

发送请求之前，我们需要和headers一样，创建一个请求request

如果是带参数的请求，我们还需要创造参数data

urllib2内可以直接调用 urllib2.Request(url, data, headers)方法，这个方法返回一个request

捕获响应

当我们准备好了request（带数据或者不带数据）之后，即可发送请求到页面，然后会得到一个response

urllib2内可以使用 urllib2.urlopen(request, timeout)方法，该方法返回一个response； 要获取response的内容，则需要使用 response.read()方法

代码示例（爬取 mm131首页上的内容）：

# -*- encoding:utf-8 -*-
import urllib2                      #这是我们需要使用的工具
url = "http://www.mm131.com"        #这是我们的目的地址

#创建一个headers 内含user-agent伪装成一个mozilla4.0浏览器
headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}

#创建一个request, 传入url data(没有参数的访问则为None) 和 headers
request = urllib2.Request(url,data=None, headers=headers)

#获取响应response，发送request，设置超时时间为5s
response = urllib2.urlopen(request, timeout = 5)

#读取response的内容,同时将gb2312(网页原编码)转换为utf-8,ignore为忽略非法字符
content = response.read().decode('gb2312', 'ignore')

print content

数据分析

通过 urllib2可以轻松的获取目标页面内容，那么最让人头疼的事情来了，那就是数据分析（筛选）

这里我们暂时只使用最笨的一种方法，那就是在本地进行字符串的匹配来获取想要的内容，这里则需要使用到正则表达式，关于正则表达式可以参考《python核心编程 第三版》的第一章，也可以观看imooc的视频python正则表达式,利用两个小时的时间对正则表达式有一个全面的了解。

比如，上面得到的内容，我们可以对美女图片的代码进行分析，并作出匹配：

示例代码（对上面获得的content进行正则匹配，得到其中的图片）：

import re
pattern = re.compile('<li class="column-li".*?src="(.*?)".*?alt="(.*?)"', re.S)
items = re.findall(pattern,content)

上面代码中的 compile 表示匹配规则， 其中.?可以理解为忽略这期间的内容，我们从<li class="column-li" 开始匹配，忽略中间的内容直到 src="出现，然后获取中间的内容(.?) 带上括号表示这些内容在后面fiandall中会被保存，以此类推，我们第二个(.*?)代表的则是alt内的内容，也就是图片的描述。

re.findall(compile, content)反回一个集合类型，包含页面中所有符合匹配规则的元素的集合，也就是所有美女图片的地址和描述。

可以使用迭代器，访问他们：

for item in items:
    print item[0]  #item[0]也就是我们匹配到的第一个元素  src
    print item[1]  #item[0]也就是我们匹配到的第二个元素  alt

数据持久化

数据持久化的方式是多样的
我们可以使用数据库来存储，对于大型数据分析，我们还可以使用缓存工具 memchche 或者 redis将数据快速保存，之后持久化到数据库中，甚至还有数据集群（再扯久没边了，参考google 机器人深度学习）

其次我们还可以保存内容到本地文件，比较流行的是直接写入到某一个服务器的web目录（以html为主），这样数据爬取下来后，还可以通过web直接访问。

这里，我们主要是保存图片，因此直接将数据保存到本地，而且保存成图片格式。urllib中（注意时urllib而非urllib2）提供了非常方便的方法。具体参见代码：

for item in items:
    urllib.urlretrieve(item[0],item[1]+'.jpg')

urllib.urlretrieve(url, local, Schedule) 函数可以从url下载内容保存到本地路径local中，其中还可以加入第三个参数 （回调函数，主要实现类似于进度条的功能），具体函数解析请参考 现代魔法学院 urllib解析

本文示例代码 完整示范

# -*- encoding:utf-8 -*-
import urllib2                      #这是我们需要使用的工具
import urllib                       #注意urllib 和 urllib2并不同
import re
import sys
reload(sys)
sys.setdefaultencoding("utf-8")    #在这里统一文件的编码为utf-8

url = "http://www.mm131.com"        #这是我们的目的地址

try:
    #创建一个headers 内含user-agent伪装成一个mozilla4.0浏览器
    headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}

    #创建一个request, 传入url data(没有参数的访问则为None) 和 headers
    request = urllib2.Request(url,data=None, headers=headers)

    #获取响应response，发送request，设置超时时间为5s
    response = urllib2.urlopen(request)

    #读取response的内容
    content = response.read().decode('gb2312','ignore')

    pattern = re.compile('<li class="column-li".*?src="(.*?)".*?alt="(.*?)"', re.S)
    items = re.findall(pattern,content)

    for item in items:
        print '开始下载图片:  %s' % item[1]
        urllib.urlretrieve(item[0],item[1]+'.jpg')
except Exception, e:
    print '网络错误（超时或者其他）'
    raise e