awk介紹
awk：報(bào)告生成器，格式化文本輸出
有多種版本：New awk（nawk），GNU awk（gawk）
gawk：模式掃描和處理語言
基本用法：
awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file… 調(diào)用文件
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
awk程序通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成
program通常是被單引號(hào)或雙引號(hào)中(建議單引號(hào)，雙引號(hào)有其他作用)
選項(xiàng)：
-F 指明輸入時(shí)用到的字段分隔符(=cut -d；默認(rèn)空白符作為分隔符)
-v var=value: 自定義變量
awk語言
基本格式：awk [options] 'program' file…
program: pattern{action statements;..} (可以使用正則表達(dá)式)
pattern和action：
pattern部分決定動(dòng)作語句何時(shí)觸發(fā)及觸發(fā)事件(=sed，滿足過濾條件，就讀入相應(yīng)的文件內(nèi)容)
BEGIN,END
action statements對數(shù)據(jù)進(jìn)行處理，放在{}內(nèi)指明
print(=echo，只是顯示), printf(具有對齊功能、cmd命令行也可以用)
域
column 列 字段 filed 域
記錄
row 行 記錄 record
分割符
行之間的分割：默認(rèn)\n為換行符；也可以自定義其他符號(hào)為換行符；此時(shí)稱分割的字段為記錄；
awk執(zhí)行時(shí)，由分隔符分隔的字段(域=列)標(biāo)記$1,$2..$n稱為域標(biāo)識(shí)；$0為所有域
注意：和shell中變量$符含義不同
省略action，則默認(rèn)執(zhí)行print $0 的操作
awk工作原理
第一步：執(zhí)行BEGIN{action;… }語句塊中的語句
第二步：從文件或標(biāo)準(zhǔn)輸入(stdin)讀取一行，然后執(zhí)行pattern{ action;… }語句塊，它逐行掃描文件，從第一行到最后一行重復(fù)這個(gè)過程，直到文件全部被讀取完畢。
第三步：當(dāng)讀至輸入流末尾時(shí)，執(zhí)行END{action;…}語句塊
BEGIN語句塊在awk開始從輸入流中讀取行之前被執(zhí)行，這是一個(gè)可選的語句塊，比如變量初始化、打印輸出表格的表頭等語句通?？梢詫懺贐EGIN語句塊中
END語句塊在awk從輸入流中讀取完所有的行之后即被執(zhí)行，比如打印所有行的分析結(jié)果這類信息匯總都是在END語句塊中完成，它也是一個(gè)可選語句塊
pattern語句塊中的通用命令是最重要的部分，也是可選的。如果沒有提供pattern語句塊，則默認(rèn)執(zhí)行{ print }，即打印每一個(gè)讀取到的行，awk讀取的每一行都會(huì)執(zhí)行該語句塊
awk
awk 'pattern{action}' file 大括號(hào)外面用單引號(hào)，里面用雙引號(hào)
print格式：print item1, item2, ...
要點(diǎn)：
(1) 逗號(hào)分隔符
(2) 輸出的各item可以字符串，也可以是數(shù)值；當(dāng)前記錄的字段、變量或awk的表達(dá)式
(3) 如省略item，相當(dāng)于print $0
示例：
awk '{print "hello,awk"}'
awk –F: ‘{print “wang”}’ /etc/passwd 打印字符串，必須加雙引號(hào)，否則會(huì)認(rèn)為是變量或命令；
awk –F: '{print}' /etc/passwd
awk –F: ‘{print $0}’ /etc/passwd
awk –F: ‘{print $1}’ /etc/passwd
awk –F: ‘{print $1”\t”$3}’ /etc/passwd 可以自定義輸出結(jié)果的分隔符
grep '^UUID' /etc/fstab|awk ‘{print $2}’ 取掛載點(diǎn)
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
awk變量
變量：內(nèi)置和自定義變量(變量名稱固定)
FS(filed spacer)：輸入字段分隔符，默認(rèn)為空白字符
awk -v FS=':' '{print $1,FS,$3}' /etc/passwd 引用內(nèi)部變量
awk -v FS=: '{print $1FS$3}' /etc/passwd
s=:; awk -v FS=$s '{print $1,FS,$3}' /etc/passwd 引用外部變量
OFS：輸出字段分隔符，默認(rèn)為空白字符
awk -v FS=':' -v OFS='---' '{print $1,$3}' /etc/passwd
RS：輸入記錄分隔符，指定輸入時(shí)的換行符，原換行符仍有效
awk -v RS=: '{print }' f1 (下圖)
ORS：輸出記錄分隔符，輸出時(shí)用指定符號(hào)代替換行符
awk -v RS=: -v ORS='###' '{print }' f1 (下圖)
NF：字段數(shù)量
awk -F：'{print NF}' /etc/fstab,引用內(nèi)置變量不用$
awk -F: 'END{print NF}' /etc/fstab
awk -F: '{print $(NF-1)}' /etc/passwd 打印倒數(shù)第二列字符串
NR：行號(hào)
awk '{print NR}' /etc/fstab; awk END'{print NR}' /etc/fstab
awk '{print NR,$0}' /etc/fstab
FNR：各文件分別計(jì)數(shù),行號(hào)
awk '{print FNR}' /etc/fstab /etc/inittab
awk '{print NR,$0}' /etc/fstab /etc/inittab
awk '{print FNR,$0}' /etc/fstab /etc/inittab
FILENAME：當(dāng)前文件名
awk '{print FILENAME}' /etc/fstab
ARGC：命令行參數(shù)的個(gè)數(shù)
awk '{print ARGC}' /etc/fstab /etc/inittab
awk 'BEGIN {print ARGC}' /etc/fstab /etc/inittab
ARGV：數(shù)組，保存的是命令行所給定的各參數(shù)
awk 'BEGIN {print ARGV[0]}' /etc/fstab /etc/inittab
awk 'BEGIN {print ARGV[1]}' /etc/fstab /etc/inittab
awk '{print ARGC,ARGV[0]}' /etc/fstab /etc/inittab
awk '{print ARGC,ARGV[ARGC-1]}' /etc/fstab /etc/inittab 最后一個(gè)參數(shù)
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
awk變量
自定義變量(區(qū)分字符大小寫)(變量名稱自定義)
(1) -v var=value
(2) 在program中直接定義
示例：
awk -v test='hello gawk' '{print test}' /etc/fstab
awk -v test='hello gawk' 'BEGIN{print test}'
awk 'BEGIN{test="hello,gawk";print test}'
awk -F: '{sex="male";age=18;print$1,sex,age}' /etc/passwd
vim awkscript：{sex="male";age=18;print script,$1,sex,age}
awk -F: -f awkscript script="awk" /etc/passwd
Paste_Image.png
Paste_Image.png
printf命令
格式化輸出：printf "FORMAT", item1, item2, ...
(1) 必須指定FORMAT
(2) 不會(huì)自動(dòng)換行，需要顯示給出換行控制符，\n (print 默認(rèn)換行)
(3) FORMAT中需要分別為后面每個(gè)item指定格式符
格式符：與item一一對應(yīng)
%c: 顯示字符的ASCII碼
%d, %i: 顯示十進(jìn)制整數(shù)
%e, %E:顯示科學(xué)計(jì)數(shù)法數(shù)值
%f：顯示為浮點(diǎn)數(shù)
%g, %G：以科學(xué)計(jì)數(shù)法或浮點(diǎn)形式顯示數(shù)值
%s：顯示字符串(數(shù)字也會(huì)當(dāng)成字符串)
%u：無符號(hào)整數(shù)
%%: 顯示%自身
修飾符：
#[.#]：第一個(gè)數(shù)字控制顯示的寬度；第二個(gè)#表示小數(shù)點(diǎn)后精度，%3.1f (3位整數(shù)，1位小數(shù)，無小數(shù)，就補(bǔ)0)
-: 左對齊（默認(rèn)右對齊）%-15s (15個(gè)字符的寬度)
+：顯示數(shù)值的正負(fù)符號(hào)%+d
printf示例
awk -F: '{printf "%s",$1}' /etc/passwd
awk -F: '{printf "%s\n",$1}' /etc/passwd
awk -F: '{printf "%s %d\n",$1,$3}' /etc/passwd
awk -F: '{printf "%s---%d\n",$1,$3}' /etc/passwd
awk -F: '{printf "%s %4.2f\n",$1,$3}' /etc/passwd
awk -F: '{printf "%-20s %-10d\n",$1,$3}' /etc/passwd(數(shù)字左對齊)
awk -F: '{printf "Username: %s\n",$1}' /etc/passwd
awk -F: '{printf "Username: %-20s UID:%d\n",$1,$3}' /etc/passwd
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
操作符
算術(shù)操作符：(如下圖)
x+y, x-y, x*y, x/y, x^y, x%y
-x: 轉(zhuǎn)換為負(fù)數(shù)
+x: 轉(zhuǎn)換為數(shù)值
字符串操作符：沒有符號(hào)的操作符，字符串連接
賦值操作符：
=, +=, -=, *=, /=, %=, ^=
++, --
比較操作符：
==, !=,>, >=, <, <=
模式匹配符： ~：左邊是否和右邊匹配包含 !~：是否不匹配
awk -F: '$0 ~ /root/{print $1}' /etc/passwd
awk -F: '$0 ~ /root/' /etc/passwd {action}可以不寫=print $0
awk '$0~"^root"' /etc/passwd
awk '$0 !~ /root/' /etc/passwd
awk -F: '$3==0' /etc/passwd
awk -F: '$3>=1000{print $1,$3}' /etc/passwd
df|awk '$0~"/dev/sd"'|awk '{print $5}'|awk -F% '{print $1}'
awk '$0~"UUID"' /etc/fstab|awk '{print $2}' 取掛載點(diǎn)
邏輯操作符：與&&，或||，非! (區(qū)別于 短路與 短路或)
示例：
awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
awk -F: '!($3==0) {print $1}' /etc/passwd
awk -F: '!($3>=500) {print $3}' /etc/passwd
函數(shù)調(diào)用：function_name(argu1, argu2, ...)(后面闡述)
條件表達(dá)式（三目表達(dá)式）：
selector(第一)?if-true-expression(第二):if-false-expression(第三) (第一為真——執(zhí)行第二；第一為假——執(zhí)行第三)
示例：(如下圖)
awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%20s:%-s\n",$1,usertype}' /etc/passwd
awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%-20s %-10s\n",$1,usertype}' /etc/passwd
awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%-20s %-20s %d\n",$1,usertype,$3}' /etc/passwd
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
awk PATTERN
1 PATTERN: 根據(jù)pattern條件，過濾匹配的行，再做處理
(1)如果未指定：空模式，匹配每一行
(2) /regular expression/(正則表達(dá)式)：僅處理能夠模式匹配到的行，需要用/ /括起來
awk '/^UUID/' /etc/fstab|awk '{print $2}' 取掛載點(diǎn)(省略print$0)
df|awk '/^\/dev\/sd/{print $5}'|awk -F% '{print $1}'
awk'!/^UUID/{print $1}' /etc/fstab
(3) relational expression: 關(guān)系表達(dá)式，結(jié)果為“真”才會(huì)被處理
真：結(jié)果為非0值，非空字符串
假：結(jié)果為空字符串或0值
示例
awk -F: '""{print $1,$3}' /etc/passwd 引號(hào)內(nèi)，什么都沒有 假
awk -F: '" "{print $1,$3}' /etc/passwd 有空格 真
awk -F: '!0 {print $1,$3}' /etc/passwd 真
awk -F: '!1 {print $1,$3}' /etc/passwd 假
awk -F: -v n=0 'n{print $1,$3}' /etc/passwd 假
awk -F: -v n=1 'n{print $1,$3}' /etc/passwd 真
awk -F: -v n=1 'n++{print $1,$3}' /etc/passwd 從第二行打印
awk -F: -v n=1 '++n{print $1,$3}' /etc/passwd 從第一行打印
awk '0-3' /etc/issue 真
awk -F: 'i=1;j=1{print i,j}' /etc/passwd
awk -F: '$NF!="/bin/bash"{print $1,$NF}' /etc/passwd = awk -F: '!($NF=="/bin/bash"){print $1,$NF}' /etc/passwd
awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd = awk -F: '$NF~ /bash$/{print $1,$NF}' /etc/passwd
(4) line ranges：行范圍
startline,endline：/pat1/,/pat2/不支持直接給出數(shù)字格式
awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd
awk -F: '(NR>=10&&NR<=20){print NR,$1}' /etc/passwd
(5) BEGIN/END模式
BEGIN{}: 僅在開始處理文件中的文本之前執(zhí)行一次
END{}: 僅在文本處理完成之后執(zhí)行一次
示例
awk -F: 'BEGIN {print "LINE USER USERID"} {print NF,$1":"$3} END{print "end file"}' /etc/passwd
awk -F: '{print "USER USERID";print $1":"$3} END{print "end file"}' /etc/passwd
awk -F: 'BEGIN{print " USER UID \n---------------"}{print $1,$3}' /etc/passwd
awk -F: 'BEGIN{print "LINE USER UID \n----------------------------------"}{printf "%5s|%20s|%d\n",NR,$1,$3}END{print "====================================="}' /etc/passwd
seq 10 |awk 'i=0' 假
seq 10 |awk 'i=1' 真
seq 10 |awk 'i=!i' 打印奇數(shù)
seq 10 |awk '{i=!i;print i}'
seq 10 |awk '!(i=!i)' 打印偶數(shù)
seq 10 |awk -v i=1 'i=!i' 打印偶數(shù)
Paste_Image.png
Paste_Image.png
Paste_Image.png
awk action
常用的action分類
(1) Expressions:算術(shù)，比較表達(dá)式等
(2) Control statements：if, while等
(3) Compound statements：組合語句
(4) input statements
(5) output statements：print等
awk控制語句
{ statements;… } 組合語句
if(condition) {statements;…}
if(condition) {statements;…} else {statements;…}
while(conditon) {statments;…}
do {statements;…} while(condition)
for(expr1;expr2;expr3) {statements;…}
break
continue
delete array[index]
delete array
exit
awk控制語句 if-else
語法
if(condition){statement1;…}[else statement2]
如果condition成立，就執(zhí)行statement1；如果condition不成立，就執(zhí)行statement2；
if(condition1){statement1}else if(condition2){statement2}else{statement3}
使用場景：對awk取得的整行或某個(gè)字段做條件判斷
示例
awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd
awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
awk '{if(NF>5) print $0}' /etc/fstab 默認(rèn)空格作為分隔符
awk -F: '{if($3>=1000) {printf"Common user: %s\n",$1} else {printf"root or Sysuser: %s\n",$1}}' /etc/passwd
awk -F: '{if($3>=1000) printf "Common user: %s\n",$1;else printf "root or Sysuser: %s\n",$1}' /etc/passwd
df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}'
awk 'BEGIN{ test=100;if(test>90){print "very good"}else if(test>60){ print "good"}else{print "no pass"}}'
awk控制語句 while
語法：while(condition){statement;…}
條件“真”，進(jìn)入循環(huán)；條件“假”，退出循環(huán)
使用場景：
對一行內(nèi)的多個(gè)字段逐一類似處理時(shí)使用
對數(shù)組中的各元素逐一處理時(shí)使用
示例
awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i); i++}}' /etc/grub2.cfg
awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print $i,length($i)}; i++}}' /etc/grub2.cfg
awk控制語句 do-while
語法：do {statement;…}while(condition)
意義：無論真假，至少執(zhí)行一次循環(huán)體
示例
awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}'
awk 'BEGIN{ total=0;i=0;while(i<=100){ total+=i;i++};print total}'
awk 'BEGIN{i=0;print ++i,i}'
awk 'BEGIN{i=0;print i++,i}'
awk控制語句 for
語法：for(expr1;expr2;expr3) {statement;…} expr1-->expr2-->statement-->expr3-->expr2-->statement
常見用法：
for(variable assignment;condition;iteration process)
{for-body}
特殊用法：能夠遍歷數(shù)組中的元素
語法：for(varin array) {for-body}
示例：
awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg
awk控制語句 switch continue break
語法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; ...; default: statementn}
break(退出整個(gè)循環(huán))和continue(退出本次循環(huán))
awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}' 奇數(shù)之和
awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2!=0)continue;sum+=i}print sum}' 偶數(shù)之和
awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66)break;sum+=i}print sum}'
break [n] continue [n] 嵌套
next
提前結(jié)束對本行處理而直接進(jìn)入下一行處理(awk自身循環(huán))
awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd uid是偶數(shù)，即打印
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
awk數(shù)組
關(guān)聯(lián)數(shù)組：array[index-expression]
index-expression:
(1) 可使用任意字符串；字符串要使用雙引號(hào)括起來
(2) 如果某數(shù)組元素事先不存在，在引用時(shí)，awk會(huì)自動(dòng)創(chuàng)建此元素，并將其值初始化為“空串”
若要判斷數(shù)組中是否存在某元素，要使用“index in array”格式進(jìn)行遍歷
示例
awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["mon"],weekdays["tue"]}'
awk '!arr[$0]++' dupfile 過濾重復(fù)行($0整行)
awk -v n=0 '!n++' 先取反，再++(只打印第一次)
awk '{!arr[$0]++;print $0, arr[$0]}' dupfile (arr[$0]：前面累加的結(jié)果，即出現(xiàn)次數(shù))
若要遍歷數(shù)組中的每個(gè)元素，要使用for循環(huán)
for(var in array) {for-body}
注意：var會(huì)遍歷array的每個(gè)索引
示例
awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print weekdays[i]}}'
netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state) { print i,state[i]}}' 每種狀態(tài)出現(xiàn)次數(shù)
ss -tan |awk '!/^State/{state[$1]++}END{for(i in state){print i,state[i]}}' 每種狀態(tài)出現(xiàn)次數(shù)
ss -tan|grep -v '^State'|cut -d " " -f1|sort|uniq -c 每種狀態(tài)出現(xiàn)次數(shù)
awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log |sort -nr -k2 |head -n5 取連接次數(shù)排在前5的ip
awk '{for(i=1;i<=NF;i++){word[$i]++}}END{for(i in word){print i,word[i]}}' /etc/fstab 統(tǒng)計(jì)/etc/fstab文件每個(gè)單詞出現(xiàn)的次數(shù)
Paste_Image.png
awk函數(shù)
數(shù)值處理
rand()：返回0和1之間一個(gè)隨機(jī)數(shù)
awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }'
awk 'BEGIN{srand(); i=1;while(i<=10){print int(rand()*100);i++}}'
字符串處理
length([s])：返回指定字符串的長度
sub(r,s,[t])：對t字符串進(jìn)行搜索r表示的模式匹配的內(nèi)容，并將第一個(gè)匹配的內(nèi)容替換為s
echo "2008:08:08 08:08:08" | awk 'sub(/:/,"-",$1)'
gsub(r,s,[t])：對t字符串進(jìn)行搜索r表示的模式匹配的內(nèi)容，并全部替換為s所表示的內(nèi)容
echo "2008:08:08 08:08:08" | awk 'gsub(/:/,"-",$0)'
split(s,array,[r])：以r為分隔符，切割字符串s，并將切割后的結(jié)果保存至array所表示的數(shù)組中，第一個(gè)索引值為1,第二個(gè)索引值為2,…
netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'
自定義函數(shù)
格式
function name ( parameter, parameter, ... ) {
statements
return expression
}
示例
#cat fun.awk
function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
BEGIN{a=3;b=2;print max(a,b)}
#awk -f fun.awk
Paste_Image.png
Paste_Image.png
Paste_Image.png
awk中調(diào)用shell命令
system命令
空格是awk中的字符串連接符，如果system中需要使用awk中的變量可以使用空格分隔，或者說除了awk的變量外其他一律用""引用起來。
awk BEGIN'{system("hostname")}'
awk 'BEGIN{score=100; system("echo your score is " score) }'
awk腳本
將awk程序?qū)懗赡_本，直接調(diào)用或執(zhí)行
示例
#cat f1.awk
{if($3>=1000)print $1,$3}
#awk -F: -f f1.awk /etc/passwd
#cat f2.awk
#!/bin/awk -f
#this is a awkscript
{if($3>=1000)print $1,$3}
#chmod +x f2.awk
#./f2.awk -F: /etc/passwd(不在path路徑里，所以要加./f2.awk)
向awk腳本傳遞參數(shù)
格式
awkfile var=value var2=value2... Inputfile
注意
在BEGIN過程中不可用；直到首行輸入完成以后，變量才可用；
可以通過-v 參數(shù)，讓awk在執(zhí)行BEGIN之前得到變量的值；命令行中每一個(gè)指定的變量都需要一個(gè)-v參數(shù)
示例
#cat test.awk
#!/bin/awk -f
{if($3 >=min && $3<=max)print $1,$3}
#chmod +x test.awk
#test.awk -F: min=100 max=200 /etc/passwd
Paste_Image.png
Paste_Image.png
Paste_Image.png
