美文网首页
【译】使用Python的__slots__节省了9G的内存

【译】使用Python的__slots__节省了9G的内存

作者: whosemario | 来源:发表于2015-10-31 11:15 被阅读0次

    此文章作者使用python的__slots__节省了将近9G的内存
    原文链接: http://tech.oyster.com/save-ram-with-python-slots/

    我们前面提到过Oyster.com的Python Web服务器是使用Python Dict存储大量的静态内容的。最近,我们使用Python的__slots__在4个处理器中每个处理器节省了2G的内存空间。
    下面是一张我们使用这个方法前后的内存快照:


    我们差不多创建了上百万个Image类的实例:
    class Image(object):
        __slots__ = ['id', 'caption', 'url']
    
        def __init__(self, id, caption, url):
            self.id = id
            self.caption = caption
            self.url = url
            self._setup()
    
        # ... other methods ...
    

    通常情况下Python使用dict来存储实例,这样非常好,它允许在运行时对实例设置变量。
    然而,对一些在编译期就已经知道有什么变量的类,dict是非常耗内存的,当创建上百万个实例的时候,不足就更加突出了。你可以使用__slots__告知Python不用dict,只分配固定的空间来存储已知的属性

    class Image(object):
        __slots__ = ['id', 'caption', 'url']
    
        def __init__(self, id, caption, url):
            self.id = id
            self.caption = caption
            self.url = url
            self._setup()
    
        # ... other methods ...
    

    需要注意的是,你也可以使用collections.namedtuple来实现上面的结果,然而对我来说这种方式总是感觉奇怪,如果你想定制初始化,你需要重载__new__,而不是__init__。

    注意:不用过早的优化和使用这个方法,它不利于代码维护,当实例很多(上千万)时,这种优化才有明显的效果。

    相关文章

      网友评论

          本文标题:【译】使用Python的__slots__节省了9G的内存

          本文链接:https://www.haomeiwen.com/subject/nrnfhttx.html