此文章作者使用python的__slots__节省了将近9G的内存
原文链接: http://tech.oyster.com/save-ram-with-python-slots/
我们前面提到过Oyster.com的Python Web服务器是使用Python Dict存储大量的静态内容的。最近,我们使用Python的__slots__在4个处理器中每个处理器节省了2G的内存空间。
下面是一张我们使用这个方法前后的内存快照:
我们差不多创建了上百万个Image类的实例:
class Image(object):
__slots__ = ['id', 'caption', 'url']
def __init__(self, id, caption, url):
self.id = id
self.caption = caption
self.url = url
self._setup()
# ... other methods ...
通常情况下Python使用dict来存储实例,这样非常好,它允许在运行时对实例设置变量。
然而,对一些在编译期就已经知道有什么变量的类,dict是非常耗内存的,当创建上百万个实例的时候,不足就更加突出了。你可以使用__slots__告知Python不用dict,只分配固定的空间来存储已知的属性
class Image(object):
__slots__ = ['id', 'caption', 'url']
def __init__(self, id, caption, url):
self.id = id
self.caption = caption
self.url = url
self._setup()
# ... other methods ...
需要注意的是,你也可以使用collections.namedtuple来实现上面的结果,然而对我来说这种方式总是感觉奇怪,如果你想定制初始化,你需要重载__new__,而不是__init__。
注意:不用过早的优化和使用这个方法,它不利于代码维护,当实例很多(上千万)时,这种优化才有明显的效果。
网友评论