美文网首页python爬虫python热爱者python爱好者
资深程序员带你完全熟练掌握Requests以及它的安装与简单运用

资深程序员带你完全熟练掌握Requests以及它的安装与简单运用

作者: Python树苗 | 来源:发表于2018-05-21 14:13 被阅读10次

    是不是很简单?比urllib2和urllib简单直观的多?!那请接着看快速指南吧。

    3. 快速指南

    3.1 发送请求

    发送请求很简单的,首先要导入requests模块:

    前两个例子很正常,能正常打开的返回200,不能正常打开的返回404。但第三个就有点奇怪了,那个是百度搜索结果中的302跳转地址,但状态码显示是200,接下来我用了一招让他原形毕露:

    可以看到是以字典的形式返回了全部内容,我们也可以访问部分内容。

    3.9 代理访问

    采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性。

    3.11 自定义请求头部

    伪装请求头部是采集时经常用的,我们可以用这个方法来隐藏:

    4. 简单应用

    4.1 获取网页返回码

    欢迎大家关注我的博客:https://home.cnblogs.com/u/Python1234/

    欢迎大家加入千人交流答疑群:125240963

    相关文章

      网友评论

        本文标题:资深程序员带你完全熟练掌握Requests以及它的安装与简单运用

        本文链接:https://www.haomeiwen.com/subject/kmbfjftx.html