大文件切割

需求:

一個特別大的文件進行g(shù)roup,且group多次,比較浪費時間,所以 將這個大文件切割為多個小文件,可以同時group(需要多核CPU同時工作)

定義:

大文件 :text.txt
命令:     split (一般系統(tǒng)都有)

注意:

此命令是按行切割,即需要提前定義需要將多少行分為一個文件

做法:

首先wc -l 查看這個大文件有多少行  比如有  一萬行
那么我現(xiàn)在把他分為10個文件來說
一個文件就是一千行

那么命令就是: (源文件依然存在且不少數(shù)據(jù))

split -l 1000 text.txt -d -a 4 ceshi_

命令詳解:

-l  指定一個文件有多少行 (1000行)
text.txt  被分割的原文件名
-d  生成的文件以數(shù)字命名 (默認為英文,按照英文字母排序,不直觀)
-a 生成的新文件名除了自定的前綴以外,生成 幾位(4位)
ceshi_   這個自定義生成文件的前綴

實際舉例:

[root@xor-vhreport android]# wc -l 1.txt 
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
將這個文件10行分割為一個文件
以4位數(shù)字結(jié)尾
前綴位text_
[root@xor-vhreport android]# ls
1.txt  text_0000  text_0001  text_0002  text_0003
執(zhí)行完畢之后就可以看到,被分為了四個 文件 
源文件沒有被任何破壞和少數(shù)據(jù)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容