美文网首页
pyhton爬虫基础学习-requests库

pyhton爬虫基础学习-requests库

作者: nice生活 | 来源:发表于2018-06-20 12:06 被阅读0次

导语:

requests是python爬虫的最为常用的方式之一,requests实现http请求非常简单,但是requests库是第三方库需要进行安装,可以通过pip3下载:pip3 install requests requests中文文档

requests库的7个主要方法:

方法 说明
requests.request() 构造一个请求,是以下请求的基本方法
requests.get() 获取html网页的主要方法,对应http的get
requests.head() 获取html网页头信息的方法,对应http的head
requests.post() 向html页面提交post请求的方法,对应http的post
requests.put() 向html页面提交put请求的方法,对应http的put
requests.patch() 向html页面提交局部修改的请求,对应http的patch
requests.delete() 向页面提交删除请求,对应http的delete

调用这些方法会返回一response对象,response对象的一些常用方法:
response.headers #响应头
response.status_code #响应码
response.text #服务器返回的文本内容
response.content #返回内容的二进制形式
response.raise_for_status #异常处理 响应码不是200就会触发requests.HTTPError
response.encoding #通过charset猜测返回内容的编码形式 没有就默认为 iso-8859-1
response.apparent_encoding #通过检查返回内容得到编码形式

requests实例:

import requests


def get_html_text(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
    except:
        return "异常"
    return r.text


if __name__ == '__main__':
    url = "http://www.baidu.com"
    print(get_html_text(url)[:1000])

相关文章

网友评论

      本文标题:pyhton爬虫基础学习-requests库

      本文链接:https://www.haomeiwen.com/subject/wontyftx.html