需求:
一個特別大的文件進行g(shù)roup,且group多次,比較浪費時間,所以 將這個大文件切割為多個小文件,可以同時group(需要多核CPU同時工作)
定義:
大文件 :text.txt
命令: split (一般系統(tǒng)都有)
注意:
此命令是按行切割,即需要提前定義需要將多少行分為一個文件
做法:
首先wc -l 查看這個大文件有多少行 比如有 一萬行
那么我現(xiàn)在把他分為10個文件來說
一個文件就是一千行
那么命令就是: (源文件依然存在且不少數(shù)據(jù))
split -l 1000 text.txt -d -a 4 ceshi_
命令詳解:
-l 指定一個文件有多少行 (1000行)
text.txt 被分割的原文件名
-d 生成的文件以數(shù)字命名 (默認為英文,按照英文字母排序,不直觀)
-a 生成的新文件名除了自定的前綴以外,生成 幾位(4位)
ceshi_ 這個自定義生成文件的前綴
實際舉例:
[root@xor-vhreport android]# wc -l 1.txt
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
將這個文件10行分割為一個文件
以4位數(shù)字結(jié)尾
前綴位text_
[root@xor-vhreport android]# ls
1.txt text_0000 text_0001 text_0002 text_0003
執(zhí)行完畢之后就可以看到,被分為了四個 文件
源文件沒有被任何破壞和少數(shù)據(jù)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。