我想與大家分享一些我和我的團(tuán)隊(duì)在一個(gè)項(xiàng)目中經(jīng)歷的一些問(wèn)題。在這個(gè)項(xiàng)目中，我們必須要存儲(chǔ)和處理一個(gè)相當(dāng)大的動(dòng)態(tài)列表。測(cè)試人員在測(cè)試過(guò)程中，抱怨內(nèi)存不足。下面介紹一個(gè)簡(jiǎn)單的方法，通過(guò)添加一行代碼來(lái)解決這個(gè)問(wèn)題。
圖片的結(jié)果
下面我來(lái)解釋一下，它是如何運(yùn)行的。
首先，我們考慮一個(gè)簡(jiǎn)單的"learning"例子，創(chuàng)建一個(gè)Dataltem 類(lèi)，該類(lèi)是一個(gè)人的個(gè)人信息，例如姓名，年齡，地址等。
classDataItem(object):
? ? def__init__(self,name,age,address):
? ? self.name=name? ? ? ??
? ? self.age=age? ? ? ??
? ? self.address=address
初學(xué)者的問(wèn)題：如何知道一個(gè)以上這樣的對(duì)象占用多少內(nèi)存？
首先，讓我們?cè)囍鉀Q一下：
d1=DataItem("Alex",42,"-")
print("sys.getsizeof(d1):",sys.getsizeof(d1))
我們得到的答案是56bytes，這似乎占用了很少的內(nèi)存，相當(dāng)滿(mǎn)意嘍。那么，我們?cè)趪L試另一個(gè)包含更多數(shù)據(jù)的對(duì)象例子：
d2=DataItem("Boris",24,"In the middle of nowhere")print("sys.getsizeof(d2):",sys.getsizeof(d2))
答案仍然是56bytes，此刻，似乎我們意識(shí)到哪里有些不對(duì)？并不是所有的事情都第一眼所見(jiàn)那樣。
直覺(jué)不會(huì)讓我們失望，一切都不是那么簡(jiǎn)單。Python是一種具有動(dòng)態(tài)類(lèi)型的非常靈活的語(yǔ)言，對(duì)于它的工作，它存儲(chǔ)了大量的附加數(shù)據(jù)。它們本身占據(jù)了很多。
例如，sys.getsizeof("")返回33bytes，是的一個(gè)多達(dá)33個(gè)字節(jié)的空行！并且sys.getsizeof(1)返回24bytes，一個(gè)整個(gè)數(shù)字占用24個(gè)bytes(我想咨詢(xún)C語(yǔ)言程序員，遠(yuǎn)離屏幕，不想在進(jìn)一步閱讀，以免對(duì)美觀失去信心)。對(duì)于更復(fù)雜的元素，如字典，sys.getsizeof(.())返回272字節(jié)，這是針對(duì)空字典的，我不會(huì)再繼續(xù)了，我希望原理是明確的，并且RAM的制造商需要出售他們的芯片。
但是，我們回到我們的DataItem類(lèi)和最初的初學(xué)者的疑惑。
這個(gè)類(lèi)，占多少內(nèi)存？
首先，我們一小寫(xiě)的形式將這個(gè)類(lèi)的完整內(nèi)容輸出：
def dump(obj):
? ? for attrindir(obj):
? ? ? ? print("? obj.%s = %r"%(attr,getattr(obj,attr)))
這個(gè)函數(shù)將顯示隱藏的“幕后”使所有Python函數(shù)（類(lèi)型、繼承和其他內(nèi)容）都能夠正常工作的內(nèi)容。
結(jié)果令人印象深刻：
這一切內(nèi)容占用多少內(nèi)存？
下邊有一個(gè)函數(shù)可以通過(guò)遞歸的方式，調(diào)用getsizeof函數(shù)，計(jì)算對(duì)象實(shí)際數(shù)據(jù)量。
def get_size(obj,seen=None):
? ? # From? ??
? ? # Recursively finds sizeof objects? ??
? ? size=sys.getsizeof(obj)
? ? if seen is None:
? ? ? ? seen=set()
? ? obj_id=id(obj)
? ? if obj_id in seen:
? ? ? ? return0
# Important markasseen*before*entering recursion to gracefully handle? ??
? ? # self-referential objects? ?
? ? seen.add(obj_id)
? ? if is instance(obj,dict):
? ? ? ? size+=sum([get_size(v,seen)forvinobj.values()])
? ? ? ? size+=sum([get_size(k,seen)forkinobj.keys()])
? ? elif hasattr(obj,'__dict__'):
? ? ? ? size+=get_size(obj.__dict__,seen)
? ? elif hasattr(obj,'__iter__')and notisinstance(obj,(str,bytes,bytearray)):
? ? ? ? size+=sum([get_size(i,seen)foriinobj])returnsize
讓我們?cè)囈辉嚕?/p>
d1=DataItem("Alex",42,"-")
print("get_size(d1):",get_size(d1))
d2=DataItem("Boris",24,"In the middle of nowhere")
print("get_size(d2):",get_size(d2))
我們獲得的答案分別為460bytes和484bytes，這結(jié)果似乎是真實(shí)的。
使用這個(gè)函數(shù)，你可以進(jìn)行一系列的實(shí)驗(yàn)。例如，我想知道如果DataItem結(jié)構(gòu)放在列表中，數(shù)據(jù)將占用多少空間。get_size ([d1])函數(shù)返回532bytes,顯然，這與上面說(shuō)的460+的開(kāi)銷(xiāo)相同。但是get_size ([d1, d2])返回863bytes,小于以上的460 + 484。get_size ([d1, d2, d1])的結(jié)果更有趣——我們得到了871字節(jié)，只是稍微多一點(diǎn)，也就是說(shuō)Python足夠聰明，不會(huì)再次為同一個(gè)對(duì)象分配內(nèi)存。
現(xiàn)在，我們來(lái)看一看問(wèn)題的第二部分。
是否存在減少內(nèi)存開(kāi)銷(xiāo)的可能呢？
是的,可以的。Python是一個(gè)解釋器，我們可以在任何時(shí)候擴(kuò)展我們的類(lèi)，例如，添加一個(gè)新的字段:
d1=DataItem("Alex",42,"-")
print("get_size(d1):",get_size(d1))
d1.weight=66
print("get_size(d1):",get_size(d1))
非常好，但是如果我們不需要這個(gè)功能呢？我們能強(qiáng)制解釋器來(lái)指定類(lèi)的列表對(duì)象使用__slots__命令：
class DataItem(object):
? ? __slots__=['name','age','address']
? ? def__init__(self,name,age,address):
? ? ? ? self.name=name?
? ? ? ? self.age=age? ? ? ?
? ? ? ? self.address=address
更多信息可以在文檔(RTFM)中找到，其中寫(xiě)到“__ dict__和__weakref__”。使用__dict__節(jié)省的空間非常大”。
我們確認(rèn)：是的，確實(shí)很重要，get_size (d1)返回…64字節(jié)，而不是460字節(jié)，即少7倍。另外，創(chuàng)建對(duì)象的速度要快20%(請(qǐng)參閱本文的第一個(gè)屏幕截圖)。
唉，真正使用如此大的內(nèi)存增益并不是因?yàn)槠渌_(kāi)銷(xiāo)。通過(guò)簡(jiǎn)單地添加元素，創(chuàng)建一個(gè)100,000的數(shù)組，并查看內(nèi)存消耗:
data=[]
forpinrange(100000):
? ? ? ? data.append(DataItem("Alex",42,"middle of nowhere"))
snapshot=tracemalloc.take_snapshot()
top_stats=snapshot.statistics('lineno')
total=sum(stat.sizeforstatintop_stats)
print("Total allocated size: %.1f MB"%(total/(1024*1024)))
我們不使用__slots__占用內(nèi)存16.8MB，使用時(shí)占用6.9MB。這個(gè)操作當(dāng)然不是最好的，但是確實(shí)代碼改變的最小的。（Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.）
現(xiàn)在的缺點(diǎn)。激活__slots__禁止所有元素的創(chuàng)建,包括__dict__,這意味著,例如,一下代碼將結(jié)構(gòu)轉(zhuǎn)換成json將不運(yùn)行:
deftoJSON(self):
? ? ? ? returnjson.dumps(self.__dict__)
這個(gè)問(wèn)題很容易修復(fù),它是足以產(chǎn)生dict編程方式,通過(guò)所有元素的循環(huán):
deftoJSON(self):
? ? ? ? data=dict()
? ? ? ? forvarinself.__slots__:
? ? ? ? ? ? data[var]=getattr(self,var)
? ? ? ? returnjson.dumps(data)
也不可能動(dòng)態(tài)給這個(gè)類(lèi)添加新類(lèi)變量,但是在這個(gè)例子中,這并不是必需的。
今天的最后一個(gè)測(cè)試。有趣的是整個(gè)程序需要多少內(nèi)存。添加一個(gè)無(wú)限循環(huán)的程序,以便它不結(jié)束,看看Windows任務(wù)管理器中的內(nèi)存消耗。
沒(méi)有 __slots__:
6.9Mb 變成 27Mb … 好家伙, 畢竟, 我們節(jié)省了內(nèi)存, 27Mb 代替 70 ，對(duì)于增加一行代碼來(lái)說(shuō)并不是一個(gè)壞的例子
注意：TraceMelc調(diào)試庫(kù)使用了許多附加內(nèi)存。顯然，她為每個(gè)創(chuàng)建的對(duì)象添加了額外的元素。如果關(guān)閉它，總的內(nèi)存消耗將少得多，截屏顯示兩個(gè)選項(xiàng)：
如果你想節(jié)省更多的內(nèi)存呢？
這可以使用numpy庫(kù)，它允許您以C樣式創(chuàng)建結(jié)構(gòu)，但是在我的例子中，它需要對(duì)代碼進(jìn)行更深入的細(xì)化，并且第一種方法就足夠了。
奇怪的是在Habré從來(lái)沒(méi)有詳細(xì)分析使用__slots__,我希望本文將填補(bǔ)這一空缺。
結(jié)論
這篇文章似乎是一個(gè)anti-Python廣告，但并不是。Python非?？煽浚榱恕敖档汀盤(pán)ython程序，您必須非常努力），它是一種易于閱讀和方便編寫(xiě)代碼的語(yǔ)言。這些優(yōu)點(diǎn)在很多情況下都大于缺點(diǎn)，但是如果您需要最大的性能和效率，您可以使用像numpy這樣的庫(kù)，它是用C++編寫(xiě)的，它可以很快和高效地與數(shù)據(jù)一起工作。
