requests和元素定位

requests

requests：HTTP for Humans相比之前使用的urllib2,requests称得上是for humans.
这里介绍使用requests需要注意的几个地方：

简单使用

import requests
r = requests.get('https://www.baidu.com')
print r.text

s = requests.Session()
res = s.get('http://www.baidu.com')
print res.text
s.close()

也支持with的上下文管理，能够自动关闭s

with requests.Session() as s:
    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

上面第二种方式能够使用一些高级特性，比如cookie的保持。
r.text就是我们要处理的网页，下一篇文章介绍元素定位来获取我们想要的数据。

response解码

请求发出后，Requests会基于HTTP头部对响应的编码作出有根据的推测。当你访问 r.text 之时，Requests会使用其推测的文本编码。
当r.text显示乱码时，那就是requests不能自动解码，这时候可以查看网站源码，meta标签中charset的值会说明网站采用的编码，再使用r.encoding即可按照对应格式解码：

r.encoding = '编码格式'

响应内容

二进制响应内容，从r.content中获取

>>> from PIL import Image
>>> from StringIO import StringIO
>>> i = Image.open(StringIO(r.content))

json响应内容

>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.json()

原始套接字响应内容

>>> r = requests.get('https://github.com/timeline.json', stream=True)
>>> r.raw

定制请求头

定制请求头，请求头中可以添加http头(包括Useragent,content-type等等)，负载(data=或者json=,使用json=的时候直接传dict格式，而不需要json.dumps转换)

>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> headers = {'content-type': 'application/json'}

>>> r = requests.post(url, data=json.dumps(payload), headers=headers)

使用代理

最新版本的requests目前支持http,https,socks4,socks5代理，通过proxies=设置

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}

requests.get('http://example.org', proxies=proxies)

在最新的version 2.10.0中已经添加对socks的支持，老版本需要更新requests

pip install requests -U
pip install requests[socks]

proxies = {
    'http': 'socks5://user:pass@host:port',
    'https': 'socks5://user:pass@host:port'
}

在实际使用中发现socks4的使用方式和http一样
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

SSL证书校验

在最上面额度例子中，获取https://www.baidu.com的网页中，实际上就已经开启了证书校验，证书校验使用verify 参数，默认值为True

requests.get('https://www.baidu.com', verify=True)

对于已认证CA签发的证书默认都会通过验证，而对于私有证书，需要指定证书的存放路径，或者将verify 值设为False

requests.get('https://kennethreitz.com', verify=False)
requests.get('https://kennethreitz.com', cert=('/path/server.crt', '/path/key'))

身份认证

很多网站需要登录后才能获取更多的内容，在实现登录前需要抓包分析网站使用的何种登录方式，详细此系列请见第6篇文章。

requests异常处理

我们需要保证爬虫能够一直跑下去，不会因为异常而退出，
那么我们就需要异常处理。
requests的异常我一般这样处理：

res = None
try:
    res = requests.get(test_url, headers=headers, proxies=proxies, timeout=10)
except:
    """process exception situation"""

if res is not None and res.status_code == 200:
    """process success situation"""

上面大部分都是requests官网中提到的内容，只是我总结了下实际使用中遇到的一些常用的需要注意的地方，供大家参考使用。

在实际抓取中，还会遇到动态页面，图片识别等问题，后面都会介绍