2021-01-13
awk是行處理器: 相比較屏幕處理的優(yōu)點，在處理龐大文件時不會出現(xiàn)內(nèi)存溢出或是處理緩慢的問題，通常用來格式化文本信息
awk處理過程: 依次對每一行進行處理，然后輸出默認分隔符是空格或者tab鍵
BEGIN{} {} END{}
行處理前 行處理 行處理后
[root@host ~]# awk 'BEGIN{print 1/2} {print "ok"} END{print "----"}' /etc/hosts
0.5
ok
ok
ok
ok
ok
ok
----
awk工作原理
awk -F":" '{print $1,$3}' /etc/passwd
（1）awk使用一行作為輸入，并將這一行賦給變量$0,每一行可稱作為一個記錄，以換行符結(jié)束
（2）然后，行被:分解成字段，每個字段存儲在已編號的變量中，從$1開始
（3）awk如何知道空格來分隔字段的呢？因為有一個內(nèi)部變量FS來確定字段分隔符，初始時，F(xiàn)S賦為空格或者是tab
（4）awk打印字段時，將以設(shè)置的方法，使用print函數(shù)打印，awk在打印的字段間加上空格，因為$1,$3間有一個,逗號。逗號比較特殊，映射為另一個變量，成為輸出字段分隔符OFS，OFS默認為空格
（5）awk打印字段時，將從文件中獲取另一行，并將其存儲在$0中，覆蓋原來的內(nèi)容，然后將新的字符串分隔成字段并進行處理。該過程持續(xù)到處理文件結(jié)束。
awk中的特殊變量:
NR: 表示記錄編號, 當awk將行為記錄時, 該變量相當于當前行號
NF: 表示字段數(shù)量, 當awk將香味記錄時, 該變量相當于當前列號
$0: 表示當前記錄的文本內(nèi)容
$1: 表示當前記錄的第一列文本內(nèi)容
$2: 表示當前記錄的第二列文本內(nèi)容
RS(輸入記錄分隔符) （record sign）
FS(輸入字段分隔符) （filed sign）
NR(Number of record)行數(shù)
FNR按不同的文件飛開
ORS(輸出記錄分隔符) （output frecord sign）
OFS(輸出字段分隔符) （output filed sign）
NF 字段個數(shù) （Number of filed）
FS(輸入字段分隔符) （filed sign）
[root@youngfit ~]# awk 'BEGIN{FS=":"} {print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
OFS(輸出字段分隔符) （output filed sign）
[root@youngfit ~]# awk 'BEGIN{FS=":";OFS=".."} {print $1,$2}' /etc/passwd
root..x
bin..x
daemon..x
adm..x
lp..x
sync..x
shutdown..x
NR 表示記錄編號, 當awk將行為記錄時, 該變量相當于當前行號
[root@youngfit ~]# awk -F: '{print NR,$0}' a.txt file1.txt
1 love
2 love.
3 loove
4 looooove
5
6 isuo
7 IPADDR=192.168.6.5
8 hjahj123
9 GATEWAY=192.168.1.1
10 NETMASK=255.255.255.0
11 DNS=114.114.114.114
FNR 表示記錄編號, 當awk將行為記錄時, 該變量相當于當前行號(不同文件分開)
[root@youngfit ~]# awk -F: '{print FNR,$0}' a.txt file1.txt
1 love
2 love.
3 loove
4 looooove
5
1 isuo
2 IPADDR=192.168.6.5
3 hjahj123
4 GATEWAY=192.168.1.1
5 NETMASK=255.255.255.0
6 DNS=114.114.114.114
RS(輸入記錄分隔符)
[root@youngfit ~]# cat passwd
root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@youngfit ~]# awk -F: 'BEGIN{RS="bash"} {print $0}' passwd
root:x:0:0:root:/root:/bin/
bin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin
ORS(輸出記錄分隔符)
[root@youngfit ~]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@youngfit ~]# awk -F: 'BEGIN{ORS=" "} {print $0}' passwd
root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin
練習：將文件合并為一行
[root@youngfit ~]# awk 'BEGIN{ORS="" } {print $0}' /etc/passwd
練習：把一行內(nèi)容分為多行
[root@youngfit ~]# cat d.txt
root:x:0:0:root:/root:/bin/bash
[root@youngfit ~]# awk 'BEGIN{RS=":"} {print $0}' d.txt
root
x
0
0
root
/root
/bin/bash
awk實用理解案例:
1.打印一個文件中的第2列和第3列
$ awk '{ print $2, $3}' filename
2.打印指定行指定列的某個字符
$ awk -F: 'NR==3{ print $7 }' /etc/passwd
3.統(tǒng)計一個文件的行數(shù)
$ awk '{ print NR}' filename
4.在腳本中, 傳遞變量到awk中
$ var=1000
$ echo | awk -v VARIABLE=$var '{ print VARIABLE }'
5.指定字段分隔符-F活在BEGIN{ FS=":" }
$ awk -F: '{ print $2, $3 }' filename
$ awk 'BEGIN{ FS=":" }{ print $2, $3 }' filename
6.在awk中使用for循環(huán)
$ grep '05/Sep/2017' cd.mobiletrain.org.log | awk '{ ips[$1]++ } END {for (i in ips){print i,ips[i]}}' | sort -k2 -rn | head -n10
182.140.217.111 138
121.12.22.33 100
10.19.3.2 90
23.29.112.23 80
121.31.30.189 45
187.23.43.123 40
7.在awk中使用if條件判斷
$ awk -F: '{if($3==0) {print $1 " is administrator."}}' /etc/passwd
統(tǒng)計系統(tǒng)用戶
$ awk -F":" '{if($3>0 && $3<1000){i++}} END{print i}' /etc/passwd
