方法一:
可以通過生成器,分多次讀取,每次讀取數(shù)量相對(duì)少的數(shù)據(jù)(比如 500MB) 進(jìn)行處理,處理結(jié)束后在讀取后面的 500MB 的數(shù)據(jù)。
方法二:
可以通過 linux 命令 split 切割成小文件,然后再對(duì)數(shù)據(jù)進(jìn)行處理,此方法效率比較高。可以按照行數(shù)切割,可以按照文件大小切割。
4G 內(nèi)存怎么讀取一個(gè) 5G 的數(shù)據(jù)?
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
相關(guān)閱讀更多精彩內(nèi)容
- 1、字典是可變對(duì)象,執(zhí)行 l.append(a)的操作中是把字典 a 的引用傳到列表 l 中,當(dāng)后 續(xù)操作修改 a...
- 一·a=1,b=2,不用中間變量交換 a 和 b 的值 二. 三. 與 上方代碼的結(jié)果: 下方代碼結(jié)果:(相當(dāng)于淺...
- HADOOP框架 大數(shù)據(jù)技術(shù)解決的是什么問題? 解決海量數(shù)據(jù)的存儲(chǔ)和計(jì)算 Hadoop的廣義和狹義之分 狹義的Ha...
- 在上一篇《大數(shù)據(jù)(2):Hadoop 啟動(dòng)進(jìn)程》[http://www.itdecent.cn/p/32fae0...
- 通過InputFormat決定讀取的數(shù)據(jù)的類型,然后拆分成一個(gè)個(gè)InputSplit,每個(gè)InputSplit對(duì)應(yīng)...