美文网首页
爬虫requests的难点用法

爬虫requests的难点用法

作者: 暖遇 | 来源:发表于2018-09-09 15:24 被阅读0次

    requests是python的一个爬虫库,相比起urllib库,它显得贼好用,方便、灵活。
    requests支持get、post、put、delete等请求方法。
    下面介绍的是对于自己不清楚的点的总结:
    get请求:
    当是get的请求的时候,并且这个请求是需要带参数的,需要添加params=data。
    eg:requests.get("http://httpbin.org/get",params=data)
    请求得到一个text的时候,返回的是str,这个时候我们可以用json转化成python的dict。
    eg:r=requests.get("http://httpbin.org/get",params=data).text
    r.json() 这个时候转化成的是字典的形式
    post请求:
    会话维持:session对象
    s=request.session()
    s.get(url).text
    SSL证书的验证:直接添加verify=False在请求地址的时候
    超时的设置:timeout=5在请求的时候设置超时的时间

    相关文章

      网友评论

          本文标题:爬虫requests的难点用法

          本文链接:https://www.haomeiwen.com/subject/krxlgftx.html