如果要进行客户端和服务器端之间的消息传递，我们可以使用HTTP协议请求
HTTP 协议请求主要分6种类型 （GET 和 POST 较常用）
1）GET 请求
通过URL网址传递信息，可以直接在URL中写上要传递的信息，也可以由表单进行传递（表单中的信息会自动转化为URL地址中的数据，通过URL地址传递）
备注：已经取得资源，并将资源添加到响应中的消息体
2）POST 请求
可以向服务器提交数据，是一种比较安全的数据传递方式，比如在登录时，经常使用 POST 请求发送数据
3）PUT 请求
请求服务器存储一个资源，通常需要制定存储的位置
4）DELETE 请求
请求服务器删除一个资源
5）HEAD 请求
请求获取对应的 HTTP 报头信息
6）OPTIONS 请求
可以获得当前URL所支持的请求类型
Response Code
状态码：200 OK
表明请求已经成功. 默认情况下成功的请求将会被缓存
不同请求方式对于请求成功的意义如下:
GET：已经取得资源，并将资源添加到响应中的消息体.
HEAD：作为消息体的头部信息
POST：在消息体中描述此次请求的结果
请求成功对于PUT 和 DELETE 来说并不是200 ok 而是 204 所代表的没有资源 (或者 201 所代表的当一个资源首次被创建成功
以下是常见状态码及含义
| 状态码 | 英文 | 中文含义 |
|---|---|---|
| 200 | OK | 一切正常 |
| 301 | Moved Permanently | 重定向到新的URL，永久性 |
| 302 | Found | 重定向到临时URL，非永久性 |
| 304 | Not Modified | 请求的资源未更新 |
| 400 | Bad Request | 非法请求 |
| 401 | Unauthorized | 请求未经授权 |
| 403 | Forbidden | 禁止访问 |
| 404 | Not Found | 没有找到对应资源 |
| 500 | Internal Server Error | 服务器内部出现错误 |
| 501 | Not Implemented | 服务器不支持实现请求所需要的功能 |
1、GET 请求实例分析
比如我们打开百度，搜索 python 关键词，按回车键（Enter），此时会出现对应的查询结果
百度搜索python 网址的变化过程.png
对比网址，发现对应的查询信息是通过URL来传递的，但光看网址我们也不知道采用的是什么方法，那么我们打开浏览器自带的开发者工具（F12）或者用 Fiddler 抓包 来查看请求
浏览器F12看请求信息.png
Fiddler 抓包.png
分析网址，字段 wd 存储的就是用户带检索的关键词，由此推简化下网址https://www.baidu.com/s?wd=python，复制到浏览器，刷新（F5）
简化网址重新搜索.png
得到这个规律（通过 GET 请求，用爬虫实现在百度上自动查询某个关键词），用 python 实现如下：
import urllib.request
keywd = "python" # 给变量赋值搜索关键词
url = "https://www.baidu.com/s?wd=" + keywd
req =urllib.request.Request(url)
data = urllib.request.urlopen(req).read() # 将爬取的网页内容赋值给变量 file
fhandle = open("F:/Python Exercise/Part 4/3.html","wb") # 目录提前建好，“wb” 二进制写入
fhandle.write(data) # 写入数据
fhandle.close()
print(fhandle)
# 运行结果
<_io.BufferedWriter name='F:/Python Exercise/Part 4/3.html'>
Process finished with exit code 0
当我们搜索中文关键词时，执行上述代码提示编码问题，需要优化下（对搜索关键字 quote）
（UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-13: ordinal not in range(128)
）
搜索中文关键词时，执行提示编码问题.png
优化后代码如下：
key = '网易音乐'
keywd = urllib.request.quote(key)
【GET 请求使用总结】
1）构建对应的URL地址（包含 GET 请求的字段名和字段内容等信息），格式为 地址 + 参数，即 http(s)://网址?字段名1=字段内容1 & 字段名2=字段内容2
2）将对应的 URL 作为参数，构建 Request 对象
3）通过 urlopen() 打开构建的 Request 对象
4）后续处理操作，如读取网页内容，将内容写入文件等
2、POST 请求实例分析
比如我们在进行注册、登录等操作时，基本上都会遇到 POST 请求，因登录需要用到 Cookie 知识，此处将以表单为例（http://www.w3school.com.cn/tiy/t.asp?f=html_form_submit）
使用爬虫自动提交POST请求.png
【思路】
1）设置好 URL 网址
2）构建表单数据，并使用 urllib.request.urlencode 对数据进行编码处理
3）创建 Request 对象，参数包括 URL 地址和要传递的数据
4）使用 add_header() 添加头信息，模拟浏览器进行爬取
5）使用 urllib.request.urlopen() 打开对应的 Request 对象，完成信息的传递
6）后续处理，如读取网页内容，将内容写入文件等
网友评论