1.1.urlopen函数的用法
1.2.urlretrieve函数
将网页上的文件保存到本地
1.3.参数编码和解码函数
urlencode函数用于编码中文和特殊字符
parse_qs函数用于将经过编码后的url参数进行解码。
1.4.urlparse和urlsplit函数用法
urlparse和urlsplit都是用来对url的各个组成部分进行分割的,唯一不同的是urlsplit没有"params"这个属性.
1.5.Request爬去拉勾网职位信息
Request类的参数
爬去拉钩网职位信息
拉勾网的职位信息是在Ajax.json里面
代码:
1.6.ProxyHandler代理
代理原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,获取到数据后,再返回给我们。
网友评论