美文网首页
爬虫 urllib request 请求包的使用

爬虫 urllib request 请求包的使用

作者: 鬼会画符 | 来源:发表于2019-08-04 18:59 被阅读0次

    什么是urllib:
    Urllib是python内置的HTTP请求库

    常用模块

    urllib.request 请求
    urllib.parser解析

    urllib.request.urlopen
    data = {
    'name' = 'name',
    'age' = 18
    }
    bianliang = urllib.parse.urlencode(data).encode()
    request = urllib.request.Request(url=url, data=bianliang,headers=headers)

    import urllib.request
    response = urllib.request.urlopen('http://www.baidu.com')
    content = response.read().decode('utf-8')
    print(content)

    获取状态码 头部信息

    request = urllib.request.Request(url=url,headers=self.headers)
    response = urllib.request.urlopen(request)

    获得响应的内容

    content = response.read().decode()

    *防止被反扒 需要一些headers头部信息才能访问

    self.headers = {
    'User-Agent': 'UA地址'
    }

    这样请求网站时 就是头部信息了

    相关文章

      网友评论

          本文标题:爬虫 urllib request 请求包的使用

          本文链接:https://www.haomeiwen.com/subject/bmwydctx.html