awk

awk:報告生成器,格式化文本輸出

內(nèi)容

awk介紹

awk基本用法

awk變量

awk格式化

awk操作符

awk條件判斷

awk循環(huán)

awk數(shù)組

awk函數(shù)

調(diào)用系統(tǒng)命令

注意: 字符串要用雙引號引起來不然輸入命令無效,或錯誤

基本用法:

awk[options]'program'var=valu file

awk[options]

-f programfilevar=value file…

awk[options]

'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...

awk程序通常由:BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊,共3部分組成

program通常是被單引號或雙引號中

選項:

-F指明輸入時用到的字段分隔符

-v var=value:自定義變量

部基本格式:awk [options]'program'file..

program:pattern{action

statements;......}

pattern:分決定動作語句何時觸發(fā)及觸發(fā)事件

action

stattements:對數(shù)據(jù)進行處理,放在{}內(nèi)指明printprintf

分隔符、域和記錄:

行可以叫記錄

列可以叫---->域---->字段---->屬性

啊我可執(zhí)行時,由分割符分隔的字段(域)標記$1,$2..$n稱為域標識。$0為所有域

注意:AWK和shell中變量¥符含義不同

文件的每一行稱為記錄

省略action ,則默認執(zhí)行print $0

awk工作原理

?第一步:執(zhí)行BEGIN{action;… }語句塊中的語句

?第二步:從文件或標準輸入(stdin)讀取一行,然后執(zhí)行pattern{ action;… }語句塊,它逐行掃描文件,從第一行到最后一行重復這個過程,直到文件全部被讀取完畢。

?第三步:當讀至輸入流末尾時,執(zhí)行END{action;…}語句塊

?BEGIN語句塊在awk開始從輸入流中讀取行之前被執(zhí)行,這是一個可選的語句塊,比如變量初始化、打印輸出表格的表頭等語句通??梢詫懺贐EGIN語句塊中

?END語句塊在awk從輸入流中讀取完所有的行之后即被執(zhí)行,比如打印所有行的分析結(jié)果這類信息匯總都是在END語句塊中完成,它也是一個可選語句塊

?pattern語句塊中的通用命令是最重要的部分,也是可選的。如果沒有提供pattern語句塊,則默認執(zhí)行{ print },即打印每一個讀取到的行,awk讀取的每一行都會執(zhí)行該語句塊

print格式:printitem1,item2,...

要點:

(1)逗號為分隔符

(2)輸出的各item可以字符串,也可以是數(shù)值;當前記錄的字段、變量或awk的表達式

(3)如果省略|item,相當于print$0

tail??–3 /etc/fstab|awk‘{print $2,$4}’

計算用戶UID總和:

awk

-F : '{sum+=$3}END{print sum}' /etc/passwd


圖1


awk變量

FS:輸入字段分隔符,默認為空白字符

awk-vFS=':''{print $1,FS,$3}'/etc/passwd(以:為分隔符取/etc/passwd第一第三字段)

awk–F:'{print $1,$3,$7}’ /etc/passwd

OFS:輸出字段分隔符,默認為空白字符

awk-v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’

/etc/passwd

RS:輸入記錄分隔符,指定輸入時的換行符,原換行符仍有效

awk -v RS=";"'{print $1,$3,$4}' f1(以分號為記錄的分隔符,取記錄的第1,3,4字段)


圖2

ORS:輸出記錄分隔符,輸出時用指定符號代替換行符

awk-vORS='##$#' {print $1,#$3,$4}f1

NF:字段數(shù)量

awk-F:'{print?NF}' ??/etc/fstab,引用內(nèi)置變量不用$

awk-F: '{print $(NF-1)}' ? ? /etc/passwd

NR:行號

awk ? ?'{print NR}' ? /etc/fstab(沒有意義,只是輸出行號)

awk ? -F:'{print NF,$0}' ? ?/etc/passwd(給/etcpasswd加入行號)

FNR:各文件分別計數(shù),行號

awk ?'{printFNR}' ?f1 ? test

圖3

FILENAME:當前文件名

awk '{print FILENAME}’ /etc/fstab

ARGC:命令行參數(shù)的個數(shù)

awk ?'BEGIN{print ARGC}' ? ?/etc/fstab/etc/inttab

圖4


ARGV:數(shù)組,保存的是命令行所給定的各參數(shù)

awk ? 'BEGIN{print ARGV[0]}'f1test第一個參數(shù)為awk


圖5

awk ? 'BEGIN{printARGV[1],ARGV[2]}'test f1 ?顯示第二第三個參數(shù)


圖6

awk ? 'BEGIN{printARGV[2]}' ? test ?f1

awk ? 'BEGIN{printARGV[ARGC-1]}' ?test f1兩都表示第三被參數(shù)


圖7

ARGC-1=ARGV參數(shù)下標

awk變量

自定義變量(區(qū)分字符大小寫)

(1) -v var=value

(2)在program中直接定義

示例:

awk ?-v test='hello gawk' ? '{print test}' /etc/fstab

awk ?-v test='hello gawk' ? 'BEGIN{print test}'

awk ?'BEGIN{test="hello,gawk";printtest}'

awk ? ?–F: ?'{sex=“male”;print$1,sex,age;age=18}'? ??/etc/passwd

cat ? awk ?script? {print script,$1,$2}

awk-F: -f awkscriptscript=“awk” /etc/passwd

printf命令:

格式化輸出:printf"FORMAT",item1,item2

1)必須指定FORNAT(格式)

2 )不會自動換行,需要顯式給出換行控制符,\n

3 ) FORMAT中需要分別為后面每個item指定格式符

4)FORMAT兩邊必須加上雙引號

5)別忘了FORMAT與item1之間有一個逗號:"FORMAT",item1

格式符:與item一一對應(yīng)

%c:顯示字符的ASCII碼

%d, %i:顯示十進制整數(shù)

%e, %E:顯示科學計數(shù)法數(shù)值

%f:顯示為浮點數(shù)

%g, %G:以科學計數(shù)法或浮點形式顯示數(shù)值

%s:顯示字符串(常用)

%u:無符號整數(shù)

%%:顯示%自身

修飾符:

#[.#]:第一個數(shù)字控制顯示的寬度;第二個#表示小數(shù)點后精度,%3.1f

-:左對齊(默認右對齊)%-15s

+:顯示數(shù)值的正負符號%+d

printf例子:

awk ?-F: ? '{printf"%s",$1}' ?/etc/passwd不會自動換行(不加換行符感覺很亂),需要顯式給出換行控制符,\n

?awk ?-F: ?'{printf"%s\n",$1}' ?/etc/passwd ?加了換行符

初學者的錯誤:


圖8

awk ?-F: ?'{printf "%-20s %10d\n",$1,$3}' ? ?/etc/passwd


圖9

?awk ?-F: ?'{printf "Username: "%s\n",$1}' ? /etc/passwd("%s\n"與$1別忘了加逗號)

?awk-F:'{printf“Username: %s,UID:%d\n",$1,$3}'

/etc/passwd

?awk -F: '{printf"Username:??%15s,UID:%d\n",$1,$3}' ?/etc/passwd


圖10

注意:

寫成自定義格式是不要把printf寫成pint下面的就是這樣的錯誤


圖11


操作符

?算術(shù)操作符:

x+y, x-y, x*y,

x/y, x^y, x%y

-x:轉(zhuǎn)換為負數(shù)

+x:轉(zhuǎn)換為數(shù)值

?字符串操作符:沒有符號的操作符,字符串連接

?賦值操作符:

=, +=, -=, *=,

/=, %=, ^=

++, --

?比較操作符:

==, !=,>,

>=, <, <=

?模式匹配符:~:左邊是否和右邊匹配包含!~:是否不匹配

awk–F: '$0 ~ /root/{print $1}‘ /etc/passwd

awk'$0~“^root"' /etc/passwd

awk'$0 !~ /root/‘ /etc/passwd

awk–F: ‘$3==0’ /etc/passwd

操作符

?邏輯操作符:與&&,或||,非!

?示例:

?awk –F:? '$3>=0 && $3<=1000 {print $1}' /etc/passwd

?awk -F: '$3==0? || $3>=1000 {print $1}' /etc/passwd

?awk -F:?'!($3==0){print $1}' /etc/passwd

?awk -F:??'!($3>=500) {print $3}' ?/etc/passwd

函數(shù)調(diào)用:function_name(argu1, argu2, ...)

條件表達式(三目表達式):

selector?if-true-expression:if-false-expression

邏輯:如果selector成立執(zhí)行if-true-exprssione的內(nèi)容,否則執(zhí)行:if-false-expression的內(nèi)容。?與:為固定格式造抄

?示例:用awk顯示/etc/passwd中的系統(tǒng)用戶和普通用戶

awk -F: '{$3>=500?usertype="Common?User":usertype="Sysadmin or

SysUser";printf"%-15s:%-s\n",$1,usertype}' /etc/passwd

...

圖12


圖12 續(xù)


PATTERN:根據(jù)pattern條件,過濾行,在處理

2)/regular expression/僅處理能夠模式匹配到的行,需要用/ /括起來

awk ? '/^UUID/{print $1}' ?/etc/fstab

awk ? '!/^UUID/{print $1}' ?/etc/fstab

3) relational expression:關(guān)系表達式,結(jié)果為“真”才會被處理

真:結(jié)果為非0值,非空字符串

假:結(jié)果為空字符串或0值

1)如果沒有指定:為空模式,匹配每一行(可以理解成4后面的描述)

4)如果PATTERN沒有{action},說明省略{print $0},表示輸出匹配到的整行(記錄)如下:

awk ?-F: 'i=1;j=1{printi,j}'/etc/passwdi=1后面省略了{print $0}所以先輸出整行,在輸出i,j的值


圖14

awk '!0'/etc/passwd!0為1,1表示匹配整行,沒有動作{action}表示輸出整行,連起來表示輸出整行


圖15


awk ?-F: ?'$3>=500{print $1,$3}' ?/etc/passwd$3為用戶UID表示$3>500表示用戶UID大于500 ,print #$1,$3表示輸出$1(用戶名)$3(用戶UId)


圖16

awk -F: '$NF== "/bin/bash"{print $1,$NF}' ?/etc/passwdNF表示字段數(shù),$NF表示最后一個字段 ,當$NF(最后的字段)等于/bin/bash時,執(zhí)行后面的動作它等價于

awk -F: '$NF ~/bash$/{print#$1,$NF}'/etc/passwd/bash$/是正則表達式


圖17

4.4) line? ranges:行范圍

startline,endline:/pat1/,/pat2/不支持直接給出數(shù)字格式

awk -F:? '/^root\>/,/^nobody\>/{print $1}' ? /etc/passwd

awk-F:? '(NR>=10&&NR<=20){print NR,$1}' /etc/passwd


BEGIN/END模式

BEGIN{}:僅在開始處理文件中的文本之前執(zhí)行一次

END{}:僅在文本處理完成之后執(zhí)行一次

示例:

awk -F : 'BEGIN {print "USER USERID"} {print

$1":"$3} END{print "end file"}' /etc/passwd

?awk -F : '{print "USER USERID“;print $1":"$3}? END{print "end file"}' /etc/passwd

?awk -F: 'BEGIN{print " USER UID \n---------------"}{print?$1,$3}' /etc/passwd

awk -F: 'BEGIN{print" USER UID \n---------------"}{print $1,$3}END{print "=============="}'/etc/passwd

.............................................................

seq 10 |awk ‘i=0’i=0為假不符合條件,不執(zhí)行

seq 10 |awk ‘i=1’i=1為真,符合條件,執(zhí)行。動作沒有指定:為空模式,匹配每一行

seq 10 | awk 'i=!i‘因為i沒有賦值所以i=0當i=0是!0為1,1為真 執(zhí)行輸出為1,執(zhí)行過后i=1,!i為0,0為假不執(zhí)行,此時i=0,!i=1執(zhí)行,當i=1時!i=0,不執(zhí)行

seq 10 | awk '{i=!i;print i}‘為命令seq 10 | awk 'i=!i‘中i的值

seq 10 | awk '!(i=!i)'因為i沒有賦值所以i=0當i=0是!0為1,!(i=1)為0不執(zhí)行,過后i=1

(i=!1)i=0, !(i=0)為1,執(zhí)行...

?seq 10 |awk -v i=1 'i=!i'i=1,賦值初始化,只執(zhí)行一次,i=!1 ,i=0,為假,不執(zhí)行,i=0,i=!0,i=1,為真執(zhí)行,。。。

awk控制語句

if-else

if-else語法:if(condition){statement;...}[else statement]

if(condition1){statement;...}else

if (condition2){statement2}else {statement3}


圖17


圖17續(xù)

seq10 |awk ‘i=0’i=0為假不符合條件,不執(zhí)行


圖1-1

seq 10 |awk 'i=1' ?i=1為真,符合條件,執(zhí)行動作沒有指定:為空模式,匹配每一行


圖1-2

seq 10 | awk 'i=!i‘因為i沒有賦值所以i=0當i=0是!0為1,1為真 執(zhí)行輸出為1,執(zhí)行過后i=1,!i為0,0為假不執(zhí)行,此時i=0,!i=1執(zhí)行,當i=1時!i=0,不執(zhí)行


圖1-4


seq 10 | awk '{i=!i;print i}‘為命令seq 10 | awk 'i=!i‘中i的值


圖1-5

seq 10 | awk '!(i=!i)'因為i沒有賦值所以i=0當i=0是!0為1,!(i=1)為0不執(zhí)行,過后i=1

(i=!1)i=0, !(i=0)為1,執(zhí)行...


圖1-7

?seq 10 |awk -v i=1 'i=!i'i=1,賦值初始化,只執(zhí)行一次,i=!1 ,i=0,為假,不執(zhí)行,i=0,i=!0,i=1,為真執(zhí)行,。。。


圖1-8


awk控制語句:

if-else

if-else語法:if(condition){statement;...}[else statement]

if(condition1){statement;...}else

if (condition2){statement2}else {statement3}

使用場景:對awk取的整行或某個字段做條件判斷

awk ?-F: '{if($3>=1000)print $1,$3}' ?/etc/passwd??

awk ?-F: '{if($NF=="/bin/bash") print $1}'??/etc/passwd

awk'{if(NF>5) print $0}' /etc/fstab

awk-F: '{if($3>=1000) {printf"Common user:

%s\n",$1} else {printf"root or Sysuser: %s\n",$1}}' /etc/passwd

awk -F: '{if($3>=1000) printf "Common user:

%s\n",$1;

else printf "root or Sysuser: %s\n",$1}'

/etc/passwd

df -h|awk-F% '/^\/dev/{print

$1}'|awk'$NF>=80{print $1,$5}‘

awk'BEGIN{ test=100;if(test>90){print "very

good"}

else if(test>60){ print

"good"}else{print "no pass"}}'


while循環(huán)

語法:while(condition){statement;}

條件“真”,進入循環(huán);條件“假”,退出循環(huán)

使用場景:

對一行內(nèi)的多個字段逐一類似處理時使用

對數(shù)組中的個元素逐一處理使用

示例:

awk'/^[[:space:]]*linux16/{i=1;while(i<=NF)

{print $i,length($i); i++}}' /etc/grub2.cfg

awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10)

{print $i,length($i)}; i++}}' /etc/grub2.cfg

?do-while循環(huán)

?語法:do {statement;…}while(condition)

?意義:無論真假,至少執(zhí)行一次循環(huán)體

?示例:

?awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print

total}‘


for循環(huán)

語法:for(expr1;expr2;expr3) {statement;…}

常見用法:

for(variable assignment;condition;iterationprocess)

{for-body}

?特殊用法:能夠遍歷數(shù)組中的元素

語法:for(varin array) {for-body}

?示例:

awk'/^[[:space:]]*linux16/{for(i=1;i<=NF;i++)

{print $i,length($i)}}' /etc/grub2.cfg

性能比較

?time (awk 'BEGIN{

total=0;for(i=0;i<=10000;i++){total+=i;};print total;}')

?time(total=0;for i in {1..10000};do

total=$(($total+i));done;echo $total)

?time(for ((i=0;i<=10000;i++));do let

total+=i;done;echo $total)

?time(seq –s ”+” 10000|bc)


圖20

awk控制語句

?switch語句

?語法:switch(expression)

{case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2;

...; default: statementn}

?break和continue

?awk ?'BEGIN {sum=0;for(i=1;i<=100;i++)

{if(i==66)break;sum+=i,}

print sum}

awk控制語句

?break [n]

?continue [n]

?next:

提前結(jié)束對本行處理而直接進入下一行處理(awk自身循環(huán))

awk -F: '{if($3%2!=0) next; print $1,$3}'??/etc/passwd


awk數(shù)組

?關(guān)聯(lián)數(shù)組:array[index-expression]

?index-expression:

?(1)可使用任意字符串;字符串要使用雙引號括起來

?(2)如果某數(shù)組元素事先不存在,在引用時,awk會自動創(chuàng)建此元素,并將其值初始化為“空串”

?若要判斷數(shù)組中是否存在某元素,要使用“index in array”格式進行遍歷

示例:

?weekdays[“mon”]="Monday“

?awk

'BEGIN{weekdays["mon"]="Monday";

weekdays["tue"]="Tuesday";print

weekdays["mon"]}‘

?awk ‘!arr[$0]++’ dupfile

?awk '{!arr[$0]++;print $0, arr[$0]}' dupfile

awk數(shù)組

?若要遍歷數(shù)組中的每個元素,要使用for循環(huán)

?for(varinarray) {for-body}

?注意:var會遍歷array的每個索引

?示例:

?awk'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]

="Tuesday";for(iin weekdays) {print

weekdays[i]}}‘

?netstat-tan | awk'/^tcp/{state[$NF]++}END

{for(i in state) { print i,state[i]}}'

?awk'{ip[$1]++}END{for(iin ip) {print i,ip[i]}}'

/var/log/httpd/access_log

for(變量in陣列)

如:

awk -F : '{line[$7]++}END{for(i in line){ print?i,line[i]}}' /etc/passwd

其中因為line[$7]沒有賦值默認為0,遍歷中i代表數(shù)組line的下標為$7,line[i]為為line[$7]為次數(shù)


圖21


awk '/^tcp/{line[$NF]++}END{for(i in line){printi,line[i]}}' ?f1.log

netstat -nt | awk -F '[[:space:]:]+''/^tcp/{ip[$6]++}END{for(i in ip){printi,ip[i]}}'

netstat -nt|awk -F '[[:space:]:]+''/^tcp/{ip[$6]++}END{for(i in ip){printi,ip[i]}}' |sort -nr -k2 |awk '{print $1}'|head -10

netstat -tn | awk??'/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}'

awk '{total[$3]+=$2;num[$3]++}END{for(name intotal){print name,total[name],total[name]/num[name]}}' score.txt

?數(shù)值處理:

rand():返回0和1之間一個隨機數(shù)

awk'BEGIN{srand(); for (i=1;i<=10;i++)print

int(rand()*100) }'

直接寫隨機數(shù)是錯誤的,它需要種子srand()才能生成隨機數(shù)

?字符串處理:

?length([s]):返回指定字符串的長度

?sub(r,s,[t]):對t字符串進行搜索r表示的模式匹配的內(nèi)容,并將第一個匹配的內(nèi)容替換為s

echo "2008:08:08 08:08:08" | awk'sub(/:/,“-",$1)'

?gsub(r,s,[t]):對t字符串進行搜索r表示的模式匹配的內(nèi)容,并全部替換為s所表示的內(nèi)容

echo "2008:08:08 08:08:08" |

awk‘gsub(/:/,“-",$0)'

?split(s,array,[r]):以r為分隔符,切割字符串s,并將切割后的結(jié)果保存至array所表示的數(shù)組中,第一個索引值為1,第二個索引值為2,…

netstat-tan |

awk ?'/^tcp\>/{split($5,ip,":");count[ip[1]]++}

END{for (iin count) {print i,count[i]}}'


system命令

?空格是awk中的字符串連接符,如果system中需要使用awk中的變量可以使用空格分隔,或者說除了awk的變量外其他一律用""引用起來。

awk BEGIN'{system("hostname") }'

awk'BEGIN{score=100; system("echo your score is

" score) }'

?將awk程序?qū)懗赡_本,直接調(diào)用或執(zhí)行

?示例:

#cat f1.awk

{if($3>=1000)print $1,$3}

#awk-F: -f f1.awk /etc/passwd

#cat f2.awk

#!/bin/awk–f

#this is a awkscript

{if($3>=1000)print $1,$3}

#chmod+x f2.awk

#f2.awk –F: /etc/passwd


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 本章主要學習內(nèi)容awk介紹 ?awk基本用法 ?awk變量 ?awk格式化 ?awk操作符 ?awk條件判斷 ?a...
    楠人幫閱讀 1,368評論 0 8
  • awk介紹awk變量printf命令:實現(xiàn)格式化輸出操作符awk patternawk actionawk數(shù)組aw...
    哈嘍別樣閱讀 1,731評論 0 4
  • awk: grep,sed,awk grep:文本過濾 sed:文本編輯 awk:文本格式化工具; 1 什么是aw...
    木林森閱讀 1,895評論 0 16
  • awk命令的基本使用 [root@shellscript ~]# head -n 3 /etc/passwd | ...
    古寒飛閱讀 1,105評論 0 2
  • '#Gun awk的相關(guān)用法 awk的工作原理 一次讀取一行文本,按輸入分隔符進行切片,切成多個組成部分,將每片直...
    魏鎮(zhèn)坪閱讀 39,945評論 2 37

友情鏈接更多精彩內(nèi)容