「爬虫」03自动模拟HTTP请求

模拟百度搜索的HTTP请求：

（1）打开百度，在搜索框内输入“python”（或者其它内容）进行搜索。

百度搜索

（2）获取搜索结果的网址：https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=02003390_7_hao_pg&wd=python&oq=python&rsv_pq=bd13d4b60000ff21&rsv_t=dfaaSjPqjfOMpbTu0vwzi6L%2B5%2BYuhpr6u3Xsc6XafQQf0EnWZDWWp0%2BvyyEqJULFQgrBIL5IYVU&rqlang=cn&rsv_enter=0&rsv_dl=tb&prefixsug=python&rsp=3

（3）对网址的结构进行分析：

http://www.baidu.com/s?字段名=字段值&字段名=字段值......

（4）简化网址后重新搜索验证：

http://www.baidu.com/s?ie=utf-8&wd=python

（5）编写代码：

自动模拟HTTP请求

只需改动keywd的值就可以实现爬取指定搜索网页的功能。