Linux三劍客 grep sed awk 詳細(xì)使用方法

?Linux中最重要的三個命令在業(yè)界被稱為“三劍客”,它們是awk,sed,grep。

??? 我們現(xiàn)在知道Linux下一切皆文件,對Linux的操作就是對文件的處理,那么怎么能更好的處理文件呢?這就要用到我們上面的三劍客命令。

??? 在說這三個命令前我們要插入一個小插曲就是“正則表達(dá)式”。

一、正則表達(dá)式

??? 所謂的正則表達(dá)式我個人理解就是正規(guī)的表示方法。他是用簡單的方法來實(shí)現(xiàn)強(qiáng)大的功能,所以深受計算機(jī)愛好者的使用。

??? 三劍客與正則表達(dá)式是什么關(guān)系呢?

??? 我們可以這樣理解,三劍客就是普通的命令,有的把他們叫做工具,在我看來都一樣。而正則表達(dá)式就好比一個模版。三劍客能讀懂這個模版。就這么簡單。注意只有三劍客才能讀懂這個模版哦!

??? 現(xiàn)在他們的關(guān)系和功能都搞懂了,接下來我們就來認(rèn)識下他們怎么結(jié)合的。正則表達(dá)式是一個模版,這個模版是由一些普通字符和一些元字符組成。普通字符包括大小寫的字母和數(shù)字,而元字符則具有特殊的含義。具體如下

元字符??????????????? ? ? ? ? 功能???????????????????????????????????????????????????????? 意思

^???????????????????????????????? 匹配行首????????????????????????????????????????????????? 表示以某個字符開頭

$???????????????????????????????? 匹配行尾????????????????????????????????????????????????? 表示以某個字符結(jié)尾

^$?????????????????????????????? 空行的意思????????????????????????????????????????????? 表示空行的意思

?.???????????????????????????????? 匹配任意單個字符?????????????????????????????????? 表示任意一個字符

*???????????????????????????????? 字符*?? 匹配0或多個此字符???????????????????? 表示重復(fù)的任意多個字

\????????????????????????????????? 屏蔽一個元字符的特殊含義?????????????????? 表示去掉有意義的元字符的含義

[]???????????????????????????????? 匹配中括號內(nèi)的字符????????????????????????????? 表示過濾括號內(nèi)的字符

.*??????????????????????????????? 代表任意多個字符?????????????????????????????????? 就是代表任意多個字符

lele\{n\}?????????????????????? 用來匹配前面lele出現(xiàn)次數(shù)。n為次數(shù)?????? 就是統(tǒng)計前面lele出現(xiàn)的次數(shù)

lele\{n,\}????????????????????? 含義同上,但次數(shù)最少為n?????????????????

lele\{n,m\}?????????????????? lele出現(xiàn)次數(shù)在n與m之間

三劍客的功能非常強(qiáng)大,但我們只需要掌握他們分別擅長的領(lǐng)域即可:grep擅長查找功能,sed擅長取行和替換。awk擅長取列。

二、grep

1.作用

Linux系統(tǒng)中g(shù)rep命令是一種強(qiáng)大的文本搜索工具,它能使用正則表達(dá)式搜索文本,并把匹 配的行打印出來。grep全稱是Global Regular Expression Print,表示全局正則表達(dá)式版本,它的使用權(quán)限是所有用戶。

2.格式

grep [options]

3.主要參數(shù)

[options]主要參數(shù):

--color=auto 對匹配到的文本著色顯示

-v 顯示不被pattern匹配到的行

-i 忽略字符大小寫

-n 顯示匹配的行號

-c 統(tǒng)計匹配的行數(shù)

-o 僅顯示匹配到的字符串

-q 靜默模式,不輸出任何信息

-A # after, 后#行

-B # before, 前#行

-C # context, 前后各#行

-e 實(shí)現(xiàn)多個選項(xiàng)間的邏輯or關(guān)系

grep –e ‘cat ’ -e ‘dog’ file

-w 匹配整個單詞

-E 使用ERE,相當(dāng)于egrep

-F 相當(dāng)于fgrep,不支持正則表達(dá)式

測試:

grep ? ? 匹配條件?? 處理文件

grep root passwd ##貪婪匹配

grep ^root passwd ##以root開頭

grep bash$ passwd ##以bash結(jié)尾

grep -i root passwd ##忽略大小寫

grep -E "root|ROOT" passwd ##后面條件可以是一個正則表達(dá)式

cat -b passwd | grep mail ##默認(rèn)顯示mail所在行

cat -b passwd | grep mail -2 ##查看mail及上下兩行

cat -b passwd | grep mail -A2 ##查看mail及下兩行

cat -b passwd | grep mail -B2 ##查看mail及上兩行

'ws'

'w...s'

'w.....'

'.....s'

三、sed

sed是一種流編輯器,它一次處理一行內(nèi)容。處理時,把當(dāng)前處理的行存儲在臨時緩沖區(qū)中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區(qū)中的內(nèi)容,處理完成后,把緩沖區(qū)的內(nèi)容送往屏幕。然后讀入下行,執(zhí)行下一個循環(huán)。如果沒有使諸如‘D’ 的特殊命令,那會在兩個循環(huán)之間清空模式空間,但不會清空保留空間。這樣不斷重復(fù),直到文件末尾。文件內(nèi)容并沒有改變,除非你使用重定向存儲輸出。

1.sed命令格式

sed [option]...'script'inputfile

(1)選項(xiàng)

-n 不輸出模式空間內(nèi)容到屏幕,即不自動打印

-e 多點(diǎn)編輯

-f /PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本

-r 支持使用擴(kuò)展正則表達(dá)式

-i 直接編輯文件

-i.bak 備份文件并原處編輯

(2)script 地址定界

不給地址:對全文進(jìn)行處理

單地址:

#: 指定的行,$:最后一行

/pattern/:被此處模式所能夠匹配到的每一行

地址范圍:

#,#

#,+#

/pat1/,/pat2/

`#,/pat1/

~:步進(jìn)

1~2 奇數(shù)行

2~2 偶數(shù)行

(3)編輯命令:

d 刪除模式空間匹配的行,并立即啟用下一輪循環(huán)

p 打印當(dāng)前模式空間內(nèi)容,追加到默認(rèn)輸出之后

a [\]text1 在指定行后面追加文本,支持使用\n實(shí)現(xiàn)多行追加

i [\]text 在行前面插入文本

c [\]text 替換行為單行或多行文本

w /path/somefile 保存模式匹配的行至指定文件

r /path/somefile 讀取指定文件的文本至模式空間中匹配到的行后

= 為模式空間中的行打印行號

! 模式空間中匹配行取反處理

s///:查找替換,支持使用其它分隔符,s@@@,s###

替換標(biāo)記:

g 行內(nèi)全局替換

p 顯示替換成功的行

w /PATH/TO/SOMEFILE 將替換成功的行保存至文件中

(1)p模式操作

catfstab -n | sed5p##編輯第五行,并在屏幕中顯示

catfstab -n | sed -n4p ##只顯示第五行

catfstab -n | sed -n3,6p##顯示3-5行內(nèi)容

catfstab -n | sed -n '3p;6p' ##顯示第三行和第五行

sed-n'/#/p'fstab##顯示#所在行

sed -n'/#/!p'fstab##顯示不帶#的行

sed -n'/\:/p'fstab##顯示含:的行

sed -n'^UUID/p'fstab##顯示以UUID開頭的行

sed -n'/^$/!p'fstab##不顯示空白行

sed -n'/^$/!p'fstab | sed -n'/^#/!p'##不顯示空白行和#所在行

(2)d模式操作

sed'/^UUID/d'fstab##刪除UUID所在行

sed'/^UUID/!d'fstab##出UUID行,其他都刪除

sed'/^#/d'fstab##刪除所有含#的行

sed'/^$/d'fstab##刪除空格行

cat -n fstab | sed'5d'##刪除第五行

cat -n fstab | sed'2d;5d'##刪除第二行和第五行

cat -n fstab | sed'2,5d'##刪除2-5行

(3)a模式操作

sed'/^UUID/ahello'fstab##在UUID下一行添加

sed'/^UUID/ahello\nvan'fstab##在UUID下一行添加兩行

sed'4ahello\nvan'fstab##在第四行的下一行添加

sed'4ihello\nvan'fstab##在第四行插入

(4)c模式操作

sed'/#/chello'fstab##將所有含#的行改為hello

sed'/^#/cwestos'-i fstab##將所有含#的行給為westo并保存修改

練習(xí):編寫一個腳本,用來改寫apache配置文件中的端口號

(5)w模式操作

sed'/^UUID/w file'fstab##將UUID所在行,導(dǎo)入file文件,該文件可以不存在

(6).sed的其他用法

6.1統(tǒng)計文件行數(shù)

sed -n '/^UUID/=' fstab????? ##統(tǒng)計文件的行數(shù)

sed '/^UUID/=' fstab???????? ##將行數(shù)放到UUID所處位置

sed -n '$=' fstab??????????? ##統(tǒng)計行數(shù)

wc -l fstab | cut -d " " -f 1

6.2插入內(nèi)容

sed '6r /opt/insert' fstab?? ? ? ? ? ? ? ?? ? ? ##將/mnt/file文件的內(nèi)容放到fstab文件的第六行后

sed '$r /opt/insert' fstab?? ? ? ? ? ? ? ? ?? ? ##將/mnt/file文件的內(nèi)容放到fstab文件的最后

sed '$r /opt/insert' fstab -i fstab? ? ?? ?? ##保存對該文件的修改,該文件必須存在,不存在則不能使用該命令

sed '$r/opt/insert' fstab > test?? ??? ?? ?? ##?? ?保存修改到test文件中

6.3處理規(guī)則設(shè)定

sed -f rule fstab 根據(jù)文件中的規(guī)則對文件進(jìn)行處理

vim rule

/^UUID/p

/UUID/=

6.4替換文件內(nèi)容

sed 's/sbin/#########/g' passwd?? ??? ?##將文件所有sbin替換成########

sed '1,5s/sbin/#########/g' passwd?? ?##將文件前五行中的sbin替換成########

sed '/adm/,/halt/s/sbin/********/g' passwd?? ?##將adm到halt行中的sbin替換成*******

sed 's/\///g' passwd?? ??? ??? ?##將passwd文件中的所有/刪除

6.5 @與/等同

sed 's@/@#####@g' passwd?? ??? ?##將passwd文件中的所有/替換成#####,其中@也是/

sed 's@sbin@####@g;s/nologin/*******/g' passwd

sed -e 's@sbin@####@g' -e 's/nologin/!!!!!/g' passwd

?6.6其他命令

sed'G'fstab##在每一行后面添加一個空白行

sed'$!G'fstab

sed'='fstab##在每一行前添加行號

sed'='fstab | sed'N;s/\n//'##進(jìn)行預(yù)處理

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容