美文网首页生活不易 我用pythonPython爬虫作业python热爱者
scrapy之外的另一Python爬虫利器Requests库的用

scrapy之外的另一Python爬虫利器Requests库的用

作者: 力大士 | 来源:发表于2018-03-25 20:53 被阅读146次

    引入

    首先我们引入一个小例子来感受一下

    基本请求

    requests库提供了http所有的基本请求方式。例如:

    一句话搞定。

    基本GET请求

    基本POST请求

    对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

    运行结果:

    运行结果:

    可以看到运行结果如下:

    这是一个非常实用方便的功能。

    Cookies

    如果一个响应中包含了cookie,那么我们可以利用 cookies 变量来拿到。

    运行结果:

    可以已经成功向服务器发送了 cookies

    超时配置

    可以利用 timeout 变量来配置最大请求时间

    会话对象

    那如果不想要全局配置中的一个变量了呢?很简单,设置为 None 即可。

    SSL证书验证

    代理

    如果需要使用代理,你可以通过为任意请求方法提供 proxies 参数来配置单个请求:

    相关文章

      网友评论

        本文标题:scrapy之外的另一Python爬虫利器Requests库的用

        本文链接:https://www.haomeiwen.com/subject/vsukcftx.html