python爬虫基础教程：urllib库（一）

1.1.urlopen函数的用法

1.2.urlretrieve函数

将网页上的文件保存到本地

1.3.参数编码和解码函数

 urlencode函数用于编码中文和特殊字符

parse_qs函数用于将经过编码后的url参数进行解码。

1.4.urlparse和urlsplit函数用法

urlparse和urlsplit都是用来对url的各个组成部分进行分割的，唯一不同的是urlsplit没有"params"这个属性.

1.5.Request爬去拉勾网职位信息

Request类的参数

爬去拉钩网职位信息

拉勾网的职位信息是在Ajax.json里面

代码：

1.6.ProxyHandler代理

代理原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，获取到数据后，再返回给我们。