网络爬虫就是提取网页的信息。
网络爬虫的原则就是谨记“the website is API”,就是我们所面对的对象和信息来源都是各个website。现在python由于其特性已经越来越被广泛的用于网络爬虫领域。

我们先从最简单的python爬虫库requests库开始讲起。

首先我们从官网下载并安装好requests库。

Paste_Image.png

requests库的get方法

Paste_Image.png

我们调用requests的get方法就是构造一个向服务器请求资源的requests对象，这个对象会返回一个包含服务器资源的response对象，随后我们就可以从response对象中获取我们需要的信息。

Paste_Image.png Paste_Image.png

>>> import requests
>>> res = requests.get("http://www.baidu.com")
>>> res.status_code
200
>>> type(res)
<class 'requests.models.Response'>
>>> res.headers
{'Server': 'bfe/1.0.8.18', 'Date': 'Sat, 15 Apr 2017 03:20:29 GMT', 'Content-Type': 'text/html', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:16 GMT', 'Transfer-Encoding': 'chunked', 'Connection': 'Keep-Alive', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Pragma': 'no-cache', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding': 'gzip'}

我们可以看到response对象包含返回的信息，同时也包括请求时的头部信息

我们接下来了解一下response对象的属性

Paste_Image.png Paste_Image.png Paste_Image.png Paste_Image.png

• r.encoding:如果headers信息不存在也就是没有指明编码信息，则默认编码为：ISO-8859-1，而且r.text会根据r.encoding的值来显示内容，所以我们有时候如果出现乱码，那么可能就是因为headers未指明charset
• r.apparent_encoding:是根据网页分析出的实际编码方式

理解requests库的异常

网页爬虫的时候，一个很重要的问题就是异常处理，因为网络连接有时候是不稳定的，所以我们需要处理这些情况。

首先了解requests库的异常

Paste_Image.png Paste_Image.png

所以这个方法很适合我们用于异常处理，他会在内部帮我们判断，状态码是否等于200，如果不等于就抛出httperror

爬去网页通用的代码框架

# -*- coding:utf-8 -*-

import requests

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status() 
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

resquests库主要方法的解析

Paste_Image.png

从这个表中我们可以看出实际上只有一个request方法，其他六个方法都是以传参数的方式在调用request方法

Paste_Image.png

下面我们来分析了解一下request方法的可选参数：

• params: 字典或字节序列，作为参数增加到url中

>>> kv = {'ie':'UTF-8','wd':'刘德华'}
>>> r = requests.get("http://www.baidu.com/s",params = kv)
Traceback (most recent call last):
  File "<pyshell#1>", line 1, in <module>
    r = requests.get("http://www.baidu.com/s",params = kv)
NameError: name 'requests' is not defined
>>> import requests
>>> r = requests.get("http://www.baidu.com/s",params = kv)
>>> r.url
'http://www.baidu.com/s?ie=UTF-8&wd=%E5%88%98%E5%BE%B7%E5%8D%8E'
>>> print(r.text[:200])

• data : 字典、字节序列或文件对象，作为Request的内容

>>> kv = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.request('POST', 'http://python123.io/ws', data=kv)
>>> body = '主体内容'
>>> r = requests.request('POST', 'http://python123.io/ws', data=body)

• json : JSON格式的数据，作为Request的内容

>>> kv = {'key1': 'value1'}
>>> r = requests.request('POST', 'http://python123.io/ws', json=kv)

• headers : 字典，HTTP定制头
  可以用来模拟浏览器登录

>>> hd = {'user‐agent': 'Chrome/10'}
>>> r = requests.request('POST', 'http://python123.io/ws', headers=hd)

• files : 字典类型，传输文件

>>> fs = {'file': open('data.xls', 'rb')}
>>> r = requests.request('POST', 'http://python123.io/ws', files=fs)

• timeout : 设定超时时间，秒为单位

>>> r = requests.request('GET', 'http://www.baidu.com', timeout=10)

• proxies : 字典类型，设定访问代理服务器，可以增加登录认证

>>> pxs = { 'http': 'http://user:pass@10.10.10.1:1234'
'https': 'https://10.10.10.1:4321' }
>>> r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)