美文网首页Python
Python requests 使用心得

Python requests 使用心得

作者: 刘勇虎 | 来源:发表于2018-07-11 20:28 被阅读762次

    最近在用requests写一些项目,遇见了一些问题,百度了很多,有些都不太好使,最后看了下requestsAPI文档,才明白了很多,最后项目趋于稳定。看来学东西还是API文档比较权威啊~

    问题场景

    项目需要通过一台主机搭上代理向目标服务器定时交换数据,主机上同时跑着比较占用资源的其他项目。

    项目设计思路

    因为主机上已经运行了比较占用线程内存资源的其他项目,所以计划本项目就应该在不能太占用资源,的前提下保持比较流畅的运行。

    设计了在线程下加上定时器的思路,定时运行相关网络请求方法。

    请求量 :每隔5秒钟,发送10 ~ 30个请求。

    核心代码

    headers = {"Content-Type": "application/json;charset=uf8"}
    url = config.baseurl + path
    try:
        
        response = requests.post(url, data= data, headers=headers ,stream= False,timeout= 10)
    
    except Exception as indentfier:
    
        time.sleep(5)
        getLoaclObjs(False)
    
    par = json.loads(data)
    
    if response != None:
        print(" method name = ", par["IPCType"],"\n sendData = ",json.dumps(par), "\n response.state.code = ",response.status_code,"\n response.text = ",response.text,"\n\n", url, "\n\n")   
    

    问题:

    报错:

    HTTPConnectionPool(host='172.19.5.101', port=8085): Max retries exceeded with url: <url >(Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x006DB1F0>, 'Connection to <server ip> timed out. (connect timeout=10)'))
    

    分析:

    报错的重点在于 connect timeout

    解决方案

    1.由于是timeout的报错,所以为了项目稳定首先要做的就是做好重连操作,在代码中其实已经做好了 try ... except 中 except中为错误处理。再次调用了方法。

    2.处理过后数据交互没有了毛病,但是报错仍然频繁,甚至后边有了新的错误:

    requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionAbortedError(10053, '你的主机中的软件中止了一个已建立的连接。', None, 10053, None))
    

    度娘和overflow都告诉我添加一下代码:

    #设置重连次数
    requests.adapters.DEFAULT_RETRIES = 15
    # 设置连接活跃状态为False
    s = requests.session()
    s.keep_alive = False
    

    基本上意思就是发出的网络请求比较频繁,requests内置的urllibs3不能及时的为我们断开连接,于是就有了以上报错。
    代码的基本意思就是断开连接、增加重试次数。

    headers = {"Content-Type": "application/json;charset=uf8"}
    url = config.baseurl + path
    try:
         #设置重连次数
        requests.adapters.DEFAULT_RETRIES = 15
        # 设置连接活跃状态为False
        s = requests.session()
        s.keep_alive = False
        response = requests.post(url, data= data, headers=headers ,stream= False,timeout= 10)
    
    except Exception as indentfier:
    
        time.sleep(5)
        getLoaclObjs(False)
    
    par = json.loads(data)
    
    if response != None:
        print(" method name = ", par["IPCType"],"\n sendData = ",json.dumps(par), "\n response.state.code = ",response.status_code,"\n response.text = ",response.text,"\n\n", url, "\n\n")   
    

    还有别的处理方法就是增加代理,由于主机是用代理的,所以项目换别的代理就不太现实,否则有可能直接连接不上目标服务器。

    于是想到了直接管理内存,文档上是这么表述的:

    好消息——归功于 urllib3,同一会话内的持久连接是完全自动处理的!同一会话内你发出的任何请求都会自动复用恰当的连接!
    注意:只有所有的响应体数据被读取完毕连接才会被释放为连接池;所以确保将 stream 设置为 False 或读取 Response 对象的 content 属性。

    也就是说除非stream=False或者response.content /response.text被操作,不然该请求不会被释放。
    同其他的自动管理内存的语言一样,不论垃圾回收还是引用计数,都存在一个问题就是内存释放比较缓慢,于是我就在代码中手动关闭了连接。

        headers = {'Content-Type': "application/json;charset=uf8"}
        url = baseurl + path
        response = None
        try:
            #设置重连次数
            requests.adapters.DEFAULT_RETRIES = 5
            s = requests.session()
            # 设置连接活跃状态为False
            s.keep_alive = False
            response = requests.post(url, data=data, headers=headers,stream=False,timeout= 10)
            # 关闭请求  释放内存
            response.close()
            del(response)  
        except Exception as indentfier:
    
            time.sleep(5)
            timer = threading.Timer(timerFlag, upload_position)
            timer.start()
    

    最终有效减少了报错次数。

    __End ~

       
       
       

    亲情链接:
    个人网站

    相关文章

      网友评论

        本文标题:Python requests 使用心得

        本文链接:https://www.haomeiwen.com/subject/jdnhpftx.html