美文网首页
爬虫urllib高级用法

爬虫urllib高级用法

作者: 浮_屠 | 来源:发表于2019-03-10 20:37 被阅读0次

Handler处理器 和 自定义opener

* opener是urllib.OpenerDirector 的实例,之前使用的urlopen,也是一个特殊的opener(是代码程序自带的)
* 但**urlopen()方法不支持代理、cookie**及其它高级功能:
    i. **使用相关的Handler处理器来创建特定功能的处理器对象**
    ii. **然后通过 urllib.request.build_opener()方法使用这些处理器对象,创建一个自定义opener对象**
    iii. **使用自定义的opener对象,调用open()方法发送请求**
* 如果程序中的多有请求都是使用的自己定义的opener,可以使用**urllib.request.install_opener()**将定义的opener定义为**全局的opener**让凡是调用urlopen,都使用这个opener(定义的opener要符合自己的使用需求)

urllib之代理设置

什么是代理:代理就是代理服务器
功能:网络信息的中转站,就好像中间商一样,原本是直接找房主详谈的,但现在是和房产中介谈一样,在中间有个桥连接两方
基本原理:本来服务器收到的请求是我们本机真实IP但设置了代理之后,服务器无法识别我们的本机真实IP

image.png
代理的作用:
1.突破自身的IP访问限制
2.范文一些单位或团体内部资源
3.提高访问速度
4.隐藏真实IP

相关文章

网友评论

      本文标题:爬虫urllib高级用法

      本文链接:https://www.haomeiwen.com/subject/aqjppqtx.html