類比SQL
- grep = select * from table
- awk = select field from table
- sed = update table set field = new where field = old
grep 命令
Linux grep 命令用于查找文件里符合條件的字符串。
語(yǔ)法
grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數(shù)>][-B<顯示列數(shù)>][-C<顯示列數(shù)>][-d<進(jìn)行動(dòng)作>][-e<范本樣式>][-f<范本文件>][--help][范本樣式][文件或目錄...]
常用參數(shù)
-i 或 --ignore-case : 忽略字符大小寫(xiě)的差別。
-o 或 --only-matching : 只顯示匹配的字符串部分。
-n 或 --line-number : 在顯示符合樣式的那一行之前，標(biāo)示出該行的列數(shù)編號(hào)。
-v 或 --revert-match : 顯示不包含匹配文本的所有行。
-E 或 --extended-regexp : 使用擴(kuò)展正則表達(dá)式。
-A -B -C 打印命中數(shù)據(jù)的上下文。
其他參數(shù)參考：https://www.runoob.com/linux/linux-comm-grep.html
pattern正則表達(dá)式
- 基本表達(dá)式（BRE）
^ 開(kāi)頭 $ 結(jié)尾
[a-z][0-9] 區(qū)間
* 0個(gè)或多個(gè)
- 擴(kuò)展正則（ERE)
? 非貪婪匹配
+ 一個(gè)或者多個(gè)
() 分組
{} 范圍約束
| 匹配多個(gè)表達(dá)式的任何一個(gè)
grep實(shí)例
- 從三個(gè)文件里找到"hello"字符串：
$ grep "hello" file1 file2 file3
file1: hello world!
file2: hello
file3: hello linux!
- 從三個(gè)文件里找到"hello"字符串，加入-o參數(shù)：
$ grep -o "hello" file1 file2 file3
file1: hello
file2: hello
file3: hello
- 用參數(shù)-i不區(qū)分大小寫(xiě)查找字符串：
$ echo "AbC" | grep -i AB
AbC
- 使用擴(kuò)展正則表達(dá)式
$ echo "1234 7654" | grep -oE '[0-9]4'
34
54
$ echo "1234 7654" | grep -oE '[0-9]4|76'
34
76
54
- 打印上下文
# 已有文件test.txt
hello 1
hello 2
hello 3
hello 4
hello 5
# -A代表after，即后面幾行
$ cat test.txt | grep -A1 "hello 3"
hello 3
hello 4
$ cat test.txt | grep -A2 "hello 3"
hello 3
hello 4
hello 5
# -B代表before，即前面幾行
$ cat test.txt | grep -B1 "hello 3"
hello 2
hello 3
$ cat test.txt | grep -B2 "hello 3"
hello 1
hello 2
hello 3
# -C代表context，即前面和后面幾行
$ cat test.txt | grep -C1 "hello 3"
hello 2
hello 3
hello 4
awk 命令
awk是一種語(yǔ)言解析引擎，具備完整的編程特性，如執(zhí)行命令、網(wǎng)絡(luò)請(qǐng)求等。理論上來(lái)說(shuō)，awk可以完全替代grep。
注意：盡量使用單引號(hào)，避免轉(zhuǎn)義
awk語(yǔ)法
awk 'pattern{action}'
常用參數(shù)
awk 'BEGIN{}END{}' 開(kāi)始和結(jié)束
awk '/Running/' 正則匹配
awk '/aa/,/bb/' 區(qū)間選擇
awk '$2~/xxx/' 字段匹配
awk 'NR==2' 取第二行
awk 'NR>1' 去掉第一行
內(nèi)置變量
FS 字段分隔符（每一行的字符串的分隔符）
OFS 輸出數(shù)據(jù)的字段分隔符（用于合并列）
RS 記錄分隔符（分成多行）
ORS 輸出字段的行分隔符（用于合并行）
NF 字段數(shù)（每行的列數(shù)）
NR 記錄數(shù)（行數(shù)）
awk的字段數(shù)據(jù)處理
-F 參數(shù)指定字段分隔符
BEGIN{FS="_"} 也可以表示分隔符
$0 代表原來(lái)的行
$1 代表第一個(gè)字端（相當(dāng)于SQL里的第一列）
$N 代表第N個(gè)字段
$NF 代表最后一個(gè)字段
awk實(shí)例
- 用BEGIN和END在前后打印內(nèi)容
$ ps -ef | awk 'BEGIN{print "start"}{print $0}END{print "end"}'
start
UID PID PPID TTY STIME COMMAND
HC 337 336 pty0 15:56:42 /usr/bin/bash
HC 571 337 pty0 17:20:44 /usr/bin/ps
HC 336 1 ? 15:56:42 /usr/bin/mintty
end
使用正則匹配（支持?jǐn)U展正則）
$ ps -ef | awk '/mintty/'
HC 336 1 ? 15:56:42 /usr/bin/mintty
$ ps -ef | awk '/mintty|ps/'
HC 611 337 pty0 17:23:40 /usr/bin/ps
HC 336 1 ? 15:56:42 /usr/bin/mintty
區(qū)間選擇匹配
$ ps -ef | awk '/m/,/y/'
HC 336 1 ? 15:56:42 /usr/bin/mintty
NR過(guò)濾行
$ ps -ef
UID PID PPID TTY STIME COMMAND
HC 337 336 pty0 15:56:42 /usr/bin/bash
HC 637 337 pty0 17:31:25 /usr/bin/ps
HC 336 1 ? 15:56:42 /usr/bin/mintty
$ ps -ef | awk 'NR>1'
HC 641 337 pty0 17:31:30 /usr/bin/ps
HC 337 336 pty0 15:56:42 /usr/bin/bash
HC 336 1 ? 15:56:42 /usr/bin/mintty
$ ps -ef | awk 'NR>2'
HC 336 1 ? 15:56:42 /usr/bin/mintty
HC 646 337 pty0 17:31:36 /usr/bin/ps
字段篩選
$ ps -ef | awk '{print $1}'
UID
HC
HC
HC
$ ps -ef | awk '{print $NF}'
COMMAND
/usr/bin/ps
/usr/bin/bash
/usr/bin/mintty
/usr/bin/bash
指定行分隔符，這里使用冒號(hào)分隔
$ echo $PATH
/c/Users/HC/bin:/mingw64/bin:/usr/local/bin:/usr/bin:/bin:/mingw64/bin:/usr/bin:/c/Users/HC/bin:/d/python/Scripts:/d/python:/d/python3.7/Scripts
$ echo $PATH | awk 'BEGIN{RS=":"}{print $0}'
/c/Users/HC/bin
/mingw64/bin
/usr/local/bin
/usr/bin
/bin
/mingw64/bin
/usr/bin
/c/Users/HC/bin
/d/python/Scripts
/d/python
/d/python3.7/Scripts
指定字段分隔符，這里指定"/"
$ echo $PATH | awk 'BEGIN{RS=":"}{print $0}' | awk 'BEGIN{FS="/"}{print $1,$2,$3,$4}'
c Users HC
mingw64 bin
usr local bin
usr bin
bin
mingw64 bin
usr bin
c Users HC
d python Scripts
d python
d python3.7 Scripts
把單行拆分為多行
echo $PATH | awk 'BEGIN{RS=":"}{print $0}'
echo $PATH | awk 'BEGIN{RS=":"}{print NR,$0}'
echo $PATH | awk 'BEGIN{RS=":"}END{print NR}'
多行組合為單行
echo $PATH | awk 'BEGIN{RS=":"}{print $0}' | awk 'BEGIN{FS="\n";ORS=":"}{print $0}'
數(shù)據(jù)計(jì)算
這里相當(dāng)于a=(10+20+30)/3=20
$ echo '1,10
> 2,20
> 3,30' | awk 'BEGIN{a=0;FS=","}{a+=$2}END{print a/ NR}'
20
sed 命令
sed 可依照腳本的指令來(lái)處理、編輯文本文件。
sed語(yǔ)法
sed [addr]X[options]
常用參數(shù)
-e 表達(dá)式
sed -n '2p' 打印第二行
sed 's#hello#world#' 修改
-i 直接修改源文件
-E 擴(kuò)展表達(dá)式
--debug 調(diào)試
pattern
20 30,35 行數(shù)與行數(shù)范圍
/pattern/ 正則匹配
//,//正則匹配的區(qū)間
action
d 刪除
p 打印，通常結(jié)合-n參數(shù)
s/原字符串/替換后的字符串/[g] 替換（g替換全部，不加只替換第一個(gè)匹配的）
\1 \2 匹配的字段
sed實(shí)例
替換字符串（s是固定語(yǔ)法，要以這個(gè)開(kāi)頭）
$ echo "helloworld" | sed 's#he#xx#'
xxlloworld
正則表達(dá)式和區(qū)間選擇（-n和p一定要寫(xiě)）
$ echo '1
> 2
> 3
> 4
> 5' | sed -n '/3/,/4/p'
3
4
刪除（此時(shí)不需要-n）
$ echo '1
2
3
4
5' | sed '/3/,/4/d'
1
2
5
全部替換（15替換為20）
$ ps -ef | sed -e 's/CMD/command/' -e 's#15#20#g'
UID PID PPID TTY STIME COMMAND
HC 823 337 pty0 20:40:27 /usr/bin/ps
HC 337 336 pty0 20:56:42 /usr/bin/bash
HC 336 1 ? 20:56:42 /usr/bin/mintty
