美文网首页
爬虫-urllib库的应用

爬虫-urllib库的应用

作者: 郭大侠 | 来源:发表于2018-01-16 20:20 被阅读0次
    四个模块 请求模块

    status状态,200表示成功请求。header中包括一些请求及服务器的状态

    另外可以将request参数化(为了添加header参数):

    data参数当网站使用post方法提交数据时使用该参数。bytes以字节流形式提交。

    运行结果:

    cookies保存(免登陆 ),使用代理(应对反爬虫)

    异常的处理:

    URL解析:urlparse

    urlunparse:反过程,将各段拼接起来

    urlencode方法将字典结构转化为get请求字符串的结构

    相关文章

      网友评论

          本文标题:爬虫-urllib库的应用

          本文链接:https://www.haomeiwen.com/subject/uiwsoxtx.html