pandas效率探索(三)

按行遍歷

測試程序:對一個10萬行的datafeame數(shù)據(jù)先分組 再按行遍歷 計(jì)算總個數(shù)
最快的方式:轉(zhuǎn)換成數(shù)組,再使用for循環(huán)

count = 0
start = time()
for userid,user_group in test_data[0:100000].groupby(by=['userid']):
    for index,row in enumerate(user_group.values):
        count +=1          
stop = time()
print str(count)
print(str(stop-start) + '秒!')
print 'ok!'

輸出:12.504999876秒!

使用內(nèi)置的iterrows函數(shù):

count = 0
start = time()
for userid,user_group in test_data[0:100000].groupby(by=['userid']):
    for index,row in user_group.iterrows():
        count +=1          
stop = time()
print str(count)
print(str(stop-start) + '秒!')
print 'ok!'

輸出:20.3080000877秒!

使用內(nèi)置的itertuples函數(shù) 最慢:

count = 0
start = time()
for userid,user_group in test_data[0:100000].groupby(by=['userid']):
    for row in user_group.itertuples():
        count +=1          
stop = time()
print str(count)
print(str(stop-start) + '秒!')
print 'ok!'

輸出:110.143000126秒!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容