美文网首页
Requests 快速入门

Requests 快速入门

作者: 四月天__ | 来源:发表于2018-06-28 17:17 被阅读79次

    Requests是python的一个HTTP客户端库,跟python内置的urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:

    python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码。

    废话不多说,直接开始。
    如果你还没用安装的话,你需要先安装,我的Mac系统使用pip3 install requests,其他系统请自行百度。
    安装之后我们看下几个常用的方法,体验一下Requests的方便之处。

    一、发送请求

    1、发送一个get请求

    import requests
    
    response = requests.get('https://book.douban.com/')
    

    2、发送一个post请求

    import requests
    
    r = requests.post('http://httpbin.org/post', data = {'key':'value'})
    

    3、发送其他 HTTP 请求类型:PUTDELETEHEAD 以及 OPTIONS

    >>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
    >>> r = requests.delete('http://httpbin.org/delete')
    >>> r = requests.head('http://httpbin.org/get')
    >>> r = requests.options('http://httpbin.org/get')
    

    4、在url里构建传递参数,例如,http://bin.org/get?key=val。 Requests 允许你使用 params 关键字参数,以一个字符串字典来提供这些参数
    举个栗子:

    payload = {'key1': 'value1', 'key2': 'value2'}
    >>> r = requests.get("http://httpbin.org/get", params=payload)
    
    通过打印输出该 URL,你能看到 URL 已被正确编码:
    print(r.url)
    >>> http://httpbin.org/get?key2=value2&key1=value1
    
    还可以将一个列表作为值传入
    >>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
    
    >>> r = requests.get('http://httpbin.org/get', params=payload)
    >>> print(r.url)
    http://httpbin.org/get?key1=value1&key2=value2&key2=value3
    

    二、获取响应内容

    requests发送请求之后返回一个Respone对象,我们可以从Respone对象中获取像status_codeurlencodingtextcontentjsonrawheaderscookiesraw

    import requests
    
    response = requests.get('https://book.douban.com/')
    print(response)
    >>> <Response [200]>
    
    key 对应内容
    status_code 状态码,
    url 经request构建之后的url, 通过 r.url获得
    encoding 获取响应内容的编码方式,通过 r.encoding获得,我们还可以设置编码方式r.encoding = 'utf-8'
    text 响应的文本形式内容,通过 r.text获得
    content 响应的二进制形式内容,比如图片、音视频等,可以把图片写入本地进行存储,通过 r.content获得
    json 响应的json形式内容,通过r.json()获取
    raw 响应的原始内容
    headers 请求头内容
    cookies cookies内容,栗子: r.cookies['example_cookie_name']
    request.headers 请求头内容,通过r.request.headers获取
    headers 响应头内容, 通过r.headers获取,注意和请求头区分
    ..... 未完待续...

    三、定制特殊参数

    我们还可以在发送请求时进行一些特殊配置,比如配置请求头的user-agentcookies 等内容,也可以设置超时时间timeout,配置代理proxies,由于大部分网站都有反爬措施,这些设置在进行爬虫操作时就显得很重要了。

    1、定制请求头headers。

    伪装请求头部是爬虫(采集)时经常用的

    payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
    r = requests.get("http://httpbin.org/get", params=payload)
     print( r.request.headers['User-Agent']) #打印
    >>> python-requests/2.18.4  #此处打印的内容为request自带的'User-Agent',可能会被网站限制,下面我们伪装为浏览器访问
    
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
    payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
    r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
    print(r.request.headers['User-Agent'])
    >>> Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
    
    2、代理访问。

    采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性。

    proxies = {
      "http": "http://10.10.1.10:3128",
      "https": "http://10.10.1.10:1080",
    }
    requests.get("http://www.zhidaow.com", proxies=proxies)
    
    如果代理需要账户和密码,则需这样:
    proxies = {
        "http": "http://user:pass@10.10.1.10:3128/",
    }
    
    
    
    3、设置超时时间
    requests.get('http://github.com', timeout=10)
    
    4、设置cookies

    又一个栗子走起:

    发送一个含有代理ip和带参数的post请求,然后打印出返回内容,

    proxies = {
      "http": 'http://101.236.23.202:8866',
      "https": 'https://221.1.205.74:8060',
    }
    data = {
        'name':'jack',
        'age':'23'
        }
    r = requests.post("http://httpbin.org/post", proxies=proxies, data=data)
    print(r.text)
    结果看下面截图
    
    22222.png

    相关文章

      网友评论

          本文标题:Requests 快速入门

          本文链接:https://www.haomeiwen.com/subject/inggyftx.html