美文网首页
1. 爬虫- requests库基本使用

1. 爬虫- requests库基本使用

作者: 王阿根 | 来源:发表于2019-01-23 16:06 被阅读0次

    本文中使用jupyter notebook工具进行的。安装requests库使用命令pip install requests。

    引入实例

    各种请求方式

    GET请求:

    基本写法

    带参数Get请求

    拼接传参 字典形式传参

    解析json

    获取二进制数据并保存

    查看当前文件,会看到刚才保存的文件,favicon.ico。我的分类比较乱,请忽略

    点击查看,就是刚才我们请求地址中显示的图片。

    添加headers:

    知乎页面爬取

    如果不知道User-Agent在哪,请按照图中的提示查询。

    Post请求:

    基本post请求

    添加headers:

    响应:

    response属性

    状态码

    response.status_code=200时,代表请求返回正常,还有很多其他的,遇到时再百度吧。

    高级操作:

    文件上传

    获取cookie:

    会话维持

    模拟登陆

    证书验证

    不验证证书

    或者指定证书,但是我本地没有证书,稍后会百度怎么弄证书,弄明白了 再把这补充一下。

    代理设置

    如果代理有用户名和密码

    socket代理

    超时设置

    我将请求设置成0.1秒超时时间。

    异常处理

    异常不做处理,会使工程中断,所以为了安全起见,我们要加上 try except

    认证设置

    有些网址登陆是需要认证的

    结束,接着下一篇2.爬虫-正则表达式,加油吧!

    相关文章

      网友评论

          本文标题:1. 爬虫- requests库基本使用

          本文链接:https://www.haomeiwen.com/subject/wsvjjqtx.html