美文网首页
第三方爬虫模块-requests模块

第三方爬虫模块-requests模块

作者: livein80 | 来源:发表于2020-07-26 11:34 被阅读0次

    1,requests模块

    1.1 安装

    • pip install requests
    • 在开发工具中安装

    1.2 requests常用方法

    • requests.get(url,headers)

    1.3 响应对象response的方法

    • response.text 返回unicode格式的数据(str)
    • response.content 返回字节流数据(二进制)
    • response.content.decode('utf-8') 手动解码
    • response.url 返回url
    • response.encode() 编码

    1.4 requests模块发送 POST请求

    1.5 requests设置代理

    1.6 cookie

    cookie :通过在客户端记录的信息确定⽤户身份
    HTTP是⼀种⽆连接协议,客户端和服务器交互仅仅限于 请求/响应过程,结束后
    断开,下⼀次请求时,服务器会认为是⼀个新的客户端,为了维护他们之间的连接,
    让服务器知道这是前⼀个⽤户发起的请求,必须在⼀个地⽅保存客户端信息。

    3.7 session

    session :通过在服务端记录的信息确定⽤户身份 这⾥这个session就是⼀个
    指的是会话

    3.8 处理不信任的SSL证书

    什么是SSL证书?
     - SSL证书是数字证书的⼀种,类似于驾驶证、护照和营业执照的电⼦副本。
    

    因为配置在服务器上,也称为SSL服务器证书。SSL 证书就是遵守 SSL协
    议,由受信任的数字证书颁发机构CA,在验证服务器身份后颁发,具有服务
    器身份验证和数据传输加密功能

    相关文章

      网友评论

          本文标题:第三方爬虫模块-requests模块

          本文链接:https://www.haomeiwen.com/subject/xsoalktx.html