Python爬虫

1.初步认识

// 代码1
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()

// 代码2
import urllib2
request = urllib2.Request("http://www.baidu.com")    //url请求
response = urllib2.urlopen(request)    //打开网页
print response.read()    //读取响应信息

说明：

• 获取url请求：调用urllib2库里的urlopen方法，协议为http请求
• urlopen函数：urlopen( url, data, timeout)
  • url：网址
  • data：参数
  • timeout：超时时间
• 返回响应信息：response.read()

2.数据传送方式—POST&GET

1.POST 相对比较安全，参数信息不会全部显示在网页上，需要传递参数，可以用data传递

import urllib
import urllib2
 values = {"username":"1016903103@qq.com","password":"XXXX"}    //注意到这个写法
data = urllib.urlencode(values) 
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)                        //参数以data变量传递
response = urllib2.urlopen(request)
print response.read()

2.GET 相对不安全，将参数信息暴露在链接上

import urllibimport urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data            //注意到这块有一个问号
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

3.参数信息

1.Headers头部信息
[图片上传中。。。（1）]* User-Agent：请求身份

• referer：”反盗链“ ——可以知道该网页是从哪个链接点击进来的（也就是网页返回的地方）

• Accept：指定客户端可接收的内容类型（顺序为接收端接受的次序）

• Accept-Language：HTTP浏览器返回页面信息优先选择的语言

• Acceot-Charset：浏览器所接受的编码集

• Accept-Encoding：客户端浏览器所允许的压缩格式
  说明：允许服务器将输出内容发送到客户端之前进行压缩，节约带宽

• Content-Type：【使用REST接口时】确定页面解析方式——一般在post提交时使用
  使用RESTful活SOAP服务时，服务器拒绝访问

• application/xml：

• Connection：是否持久连接

  • Keep-Alive（或HTTP1.1）：持久连接。
  • 如何实现：web服务器返回客户端http头信息中发送一个Content-Length

• Cookie：HTTP发送请求时，同时会传递cookie中的内容
  2.设置Headers

import urllib  
import urllib2  
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'username' : 'cqc',  'password' : 'XXXX' }  
headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
request = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(request)  
page = response.read()

另外，若一些网页设置防盗链的设置，可以设置referer来应对

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  ,
                        'Referer':'http://www.zhihu.com/articles' }

3.Proxy代理设置
考虑到这么一个情况，一些网页统计IP地址访问次数，若一段时间内，一个IP访问次数太多，这个IP就会被锁定，因此需要设置代理迷惑网页

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

4.Timeout设置：设置等待时间
这里需要注意，urlopen(url, data, timeout)，参数为省略参数，即，可能会有多个data参数传递，因此在传递url，timeout（data参数为空时）参数时，需要写明timeout=10，而非仅仅是一个10

import urllib2    // data为空
response = urllib2.urlopen('http://www.baidu.com', timeout=10)

import urllib2    //data不为空
response = urllib2.urlopen('http://www.baidu.com',data, 10)

5.DebugLog：打开Debug Log

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')

4HTTP请求方式

HTTP请求有：POST、GET、HEAD、PUT、DELET、OPTIONS

• HEAD：相当于GET（仅包含头信息）
• PUT：类似于POST
  区别：PUT指定资源存放位置，POST的资源存放位置由服务器决定
• OPTION：获取当前URL所支持的方法

import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' 
response = urllib2.urlopen(request)