网络爬虫(八)

作者: zhangxiaohao | 来源:发表于2019-05-16 06:42 被阅读1次

    关于cookie,大家应该都知道,缘由是为了解决http/https协议无状态的特性,当用户访问网站时,服务端并不知道访问者的是谁、是否有权限、是否登录过等等信息,所以需要cookie保存一些客户端的信息,在客户端请求或访问服务端时会携带cookie信息发给服务端。
    cookie在客户端post请求后,由服务端创建。
    这就用到python中的Session对象。这个对象有两个作用:

    • 可以向服务端发出请求。
    • 如果服务端产生cookie,会自动存在Session对象里。
        url = "https:/xxxxxx.com"  # 指定url
        #设置user-agent用字典的形式
        headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}
        
        parm={'kw':xxxx,'email':'yyyy'} #传入post参数
        session=requests.Session() #生成Session对象
        res = session.post(url,data=parm,headers=headers)  #用Session对象发出请求,如果服务端产生cookie就放在Session对象中。
     ..........
        session.get(url,headers=headers) #发请求时会携带cookie一并发给服务端。
    
    打球

    相关文章

      网友评论

        本文标题:网络爬虫(八)

        本文链接:https://www.haomeiwen.com/subject/wkmpaqtx.html