三十分鐘學(xué)會(huì)AWK

本文大部分內(nèi)容翻譯自我開始學(xué)習(xí)AWK時(shí)看到的一篇英文文章 AWK Tutorial ，覺得對(duì)AWK入門非常有幫助，所以對(duì)其進(jìn)行了粗略的翻譯，并對(duì)其中部分內(nèi)容進(jìn)行了刪減或者補(bǔ)充，希望能為對(duì)AWK感興趣的小伙伴提供一份快速入門的教程，幫助小伙伴們快速掌握AWK的基本使用方式，當(dāng)然，我也是剛開始學(xué)習(xí)AWK，本文在翻譯或者補(bǔ)充的過程中肯定會(huì)有很多疏漏或者錯(cuò)誤，希望大家能夠幫忙指正。

本文將會(huì)持續(xù)修正和更新，最新內(nèi)容請(qǐng)參考我的 GITHUB 上的 程序猿成長(zhǎng)計(jì)劃 項(xiàng)目，歡迎 Star。

概述

AWK是一門解釋型的編程語言。在文本處理領(lǐng)域它是非常強(qiáng)大的，它的名字來源于它的三位作者的姓氏：Alfred Aho， Peter Weinberger 和 Brian Kernighan。

GNU/Linux發(fā)布的AWK目前由自由軟件基金會(huì)（FSF）進(jìn)行開發(fā)和維護(hù)，通常也稱它為 GNU AWK。

AWK的類型

下面是幾個(gè)AWK的變體：

  • AWK - 原先來源于 AT & T 實(shí)驗(yàn)室的的AWK
  • NAWK - AT & T 實(shí)驗(yàn)室的AWK的升級(jí)版
  • GAWK - 這就是GNU AWK。所有的GNU/Linux發(fā)布版都自帶GAWK，它與AWK和NAWK完全兼容

AWK的典型用途

使用AWK可以做很多任務(wù)，下面是其中一些

  • 文本處理
  • 輸出格式化的文本報(bào)表
  • 執(zhí)行算數(shù)運(yùn)算
  • 執(zhí)行字符串操作等等

工作流

要成為AWK編程專家，你需要先知道它的內(nèi)部實(shí)現(xiàn)機(jī)制，AWK遵循了非常簡(jiǎn)單的工作流 - 讀取，執(zhí)行和重復(fù)，下圖描述了AWK的工作流。

Read

AWK從輸入流（文件，管道或者標(biāo)準(zhǔn)輸入）中讀取一行，然后存儲(chǔ)到內(nèi)存中。

Execute

所有的AWK命令都依次在輸入上執(zhí)行。默認(rèn)情況下，AWK會(huì)對(duì)每一行執(zhí)行命令，我們可以通過提供模式限制這種行為。

Repeat

處理過程不斷重復(fù)，直到到達(dá)文件結(jié)尾。

程序結(jié)構(gòu)

現(xiàn)在，讓我們先學(xué)習(xí)一下AWK的程序結(jié)構(gòu)。

BEGIN 語句塊

BEGIN語句塊的語法

BEGIN {awk-commands}

BEGIN語句塊在程序開始的使用執(zhí)行，它只執(zhí)行一次，在這里可以初始化變量。BEGIN是AWK的關(guān)鍵字，因此它必須為大寫，注意，這個(gè)語句塊是可選的。

BODY 語句塊

BODY語句塊的語法

/pattern/ {awk-commands}

BODY語句塊中的命令會(huì)對(duì)輸入的每一行執(zhí)行，我們也可以通過提供模式來控制這種行為。注意，BODY語句塊沒有關(guān)鍵字。

END 語句塊

END語句塊的語法

END {awk-commands}

END語句塊在程序的最后執(zhí)行，END是AWK的關(guān)鍵字，因此必須為大寫，它也是可選的。

讓我們創(chuàng)建一個(gè)包含序號(hào)，學(xué)生姓名，科目名稱和得分的文件 marks.txt。

1)  Amit    Physics  80
2)  Rahul   Maths    90
3)  Shyam   Biology  87
4)  Kedar   English  85
5)  Hari    History  89

下面的例子中我們將會(huì)顯示文件內(nèi)容，并且添加每一列的標(biāo)題

$ awk 'BEGIN{printf "Sr No\tName\tSub\tMarks\n"} {print}' marks.txt

上述代碼執(zhí)行后，輸出以下內(nèi)容

Sr No     Name     Sub          Marks
 1)       Amit     Physics      80
 2)       Rahul    Maths        90
 3)       Shyam    Biology      87
 4)       Kedar    English      85
 5)       Hari     History      89

在程序的開始，AWK在BEGIN語句中打印出標(biāo)題。然后再BODY語句中，它會(huì)讀取文件的每一行然后執(zhí)行AWK的print命令將每一行的內(nèi)容打印到標(biāo)準(zhǔn)輸出。這個(gè)過程會(huì)一直重復(fù)直到文件的結(jié)尾。

基礎(chǔ)語法

AWK的使用非常簡(jiǎn)單，我們可以直接在命令行中執(zhí)行AWK的命令，也可以從包含AWK命令的文本文件中執(zhí)行。

AWK命令行

我們可以使用單引號(hào)在命令行中指定AWK命令

awk [options] file ...

比如我們有一個(gè)包含下面內(nèi)容的文本文件 marks.txt:

1) Amit     Physics    80
2) Rahul    Maths      90
3) Shyam    Biology    87
4) Kedar    English    85
5) Hari     History    89

我們可以使用下面的命令顯示該文件的完整內(nèi)容

$ awk '{print}' marks.txt

AWK程序文件

我們可以使用腳本文件提供AWK命令

awk [options] -f file ....

首先，創(chuàng)建一個(gè)包含下面內(nèi)容的文本文件 command.awk

{print}

現(xiàn)在，我們可以讓AWK執(zhí)行該文件中的命令，這里我們實(shí)現(xiàn)了和上例同樣的結(jié)果

$ awk -f command.awk marks.txt

AWK標(biāo)準(zhǔn)選項(xiàng)

AWK支持下列命令行標(biāo)準(zhǔn)選項(xiàng)

-v 變量賦值選項(xiàng)

該選項(xiàng)將一個(gè)值賦予一個(gè)變量，它會(huì)在程序開始之前進(jìn)行賦值，下面的例子描述了該選項(xiàng)的使用

$ awk -v name=Jerry 'BEGIN{printf "Name = %s\n", name}'
Name = Jerry

--dump-variables[=file] 選項(xiàng)

該選項(xiàng)會(huì)輸出排好序的全局變量列表和它們最終的值到文件中，默認(rèn)的文件是 awkvars.out。

$ awk --dump-variables ''
$ cat awkvars.out 
ARGC: 1
ARGIND: 0
ARGV: array, 1 elements
BINMODE: 0
CONVFMT: "%.6g"
ERRNO: ""
FIELDWIDTHS: ""
FILENAME: ""
FNR: 0
FPAT: "[^[:space:]]+"
FS: " "
IGNORECASE: 0
LINT: 0
NF: 0
NR: 0
OFMT: "%.6g"
OFS: " "
ORS: "\n"
RLENGTH: 0
RS: "\n"
RSTART: 0
RT: ""
SUBSEP: "\034"
TEXTDOMAIN: "messages"

--help 選項(xiàng)

打印幫助信息。

$ awk --help
Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
POSIX options : GNU long options: (standard)
   -f progfile                --file=progfile
   -F fs                      --field-separator=fs
   -v var=val                 --assign=var=val
Short options : GNU long options: (extensions)
   -b                         --characters-as-bytes
   -c                         --traditional
   -C                         --copyright
   -d[file]                   --dump-variables[=file]
   -e 'program-text'          --source='program-text'
   -E file                    --exec=file
   -g                         --gen-pot
   -h                         --help
   -L [fatal]                 --lint[=fatal]
   -n                         --non-decimal-data
   -N                         --use-lc-numeric
   -O                         --optimize
   -p[file]                   --profile[=file]
   -P                         --posix
   -r                         --re-interval
   -S                         --sandbox
   -t                         --lint-old
   -V                         --version

--lint[=fatal] 選項(xiàng)

該選項(xiàng)允許檢查程序的不兼容性或者模棱兩可的代碼，當(dāng)提供參數(shù) fatal的時(shí)候，它會(huì)對(duì)待Warning消息作為Error。

$ awk --lint '' /bin/ls
awk: cmd. line:1: warning: empty program text on command line
awk: cmd. line:1: warning: source file does not end in newline
awk: warning: no program text at all!

--posix 選項(xiàng)

該選項(xiàng)開啟嚴(yán)格的POSIX兼容。

--profile[=file]選項(xiàng)

該選項(xiàng)會(huì)輸出一份格式化之后的程序到文件中，默認(rèn)文件是 awkprof.out。

$ awk --profile 'BEGIN{printf"---|Header|--\n"} {print} 
END{printf"---|Footer|---\n"}' marks.txt > /dev/null 
$ cat awkprof.out
    # gawk 配置, 創(chuàng)建 Wed Oct 26 15:05:49 2016

    # BEGIN 塊

    BEGIN {
        printf "---|Header|--\n"
    }

    # 規(guī)則

    {
        print $0
    }

    # END 塊

    END {
        printf "---|Footer|---\n"
    }

--traditional 選項(xiàng)

該選項(xiàng)會(huì)禁止所有的gawk規(guī)范的擴(kuò)展。

--version 選項(xiàng)

輸出版本號(hào)

$ awk --version
GNU Awk 3.1.7
版權(quán)所有 ? 1989, 1991-2009 自由軟件基金會(huì)(FSF)。

該程序?yàn)樽杂绍浖?，你可以在自由軟件基金?huì)發(fā)布的 GNU 通用公共許可證(GPL)第
3版或以后版本下修改或重新發(fā)布。

該程序之所以被發(fā)布是因?yàn)橄Ｍ軐?duì)你有所用處，但我們不作任何擔(dān)保。這包含
但不限于任何商業(yè)適售性以及針對(duì)特定目的的適用性的擔(dān)保。詳情參見 GNU 通用公
共許可證(GPL)。

你應(yīng)該收到程序附帶的一份 GNU 通用公共許可證(GPL)。如果沒有收到，請(qǐng)參看 http://www.gnu.org/licenses/ 。
You have new mail in /var/spool/mail/root

基本使用示例

本部分會(huì)講述一些有用的AWK命令和它們的使用示例，所有的例子都是以下面的文本文件 marks.txt 為基礎(chǔ)的

1) Amit Physics     80
2) Rahul    Maths       90
3) Shyam    Biology     87
4) Kedar    English     85
5) Hari History     89

打印某列或者字段

AWK可以只打印輸入字段中的某些列。

$ awk '{print $3 "\t" $4}' marks.txt
Physics 80
Maths   90
Biology 87
English 85
History 89

在文件marks.txt中，第三列包含了科目名，第四列則是得分，上面的例子中，我們只打印出了這兩列，$3 和 $4 代表了輸入記錄中的第三和第四個(gè)字段。

打印所有的行

默認(rèn)情況下，AWK會(huì)打印出所有匹配模式的行

$ awk '/a/ {print $0}' marks.txt
2)  Rahul   Maths    90
3)  Shyam   Biology  87
4)  Kedar   English  85
5)  Hari    History  89

上述命令會(huì)判斷每一行中是否包含a，如果包含則打印該行，如果BODY部分缺失則默認(rèn)會(huì)執(zhí)行打印，因此，上述命令和下面這個(gè)是等價(jià)的

$ awk '/a/' marks.txt

打印匹配模式的列

當(dāng)模式匹配成功時(shí)，默認(rèn)情況下AWK會(huì)打印該行，但是也可以讓它只打印指定的字段。例如，下面的例子中，只會(huì)打印出匹配模式的第三和第四個(gè)字段。

$ awk '/a/ {print $3 "\t" $4}' marks.txt
Maths   90
Biology 87
English 85
History 89

任意順序打印列

$ awk '/a/ {print $4 "\t" $3}' marks.txt
90  Maths
87  Biology
85  English
89  History

統(tǒng)計(jì)匹配模式的行數(shù)

$ awk '/a/{++cnt} END {print "Count = ", cnt}' marks.txt
Count =  4

打印超過18個(gè)字符的行

$ awk 'length($0) > 18' marks.txt
3) Shyam   Biology   87
4) Kedar   English   85

內(nèi)建變量

AWK提供了很多內(nèi)置的變量，它們?cè)陂_發(fā)AWK腳本的過程中起著非常重要的角色。

標(biāo)準(zhǔn)AWK變量

ARGC 命令行參數(shù)個(gè)數(shù)

命令行中提供的參數(shù)個(gè)數(shù)

$ awk 'BEGIN {print "Arguments =", ARGC}' One Two Three Four
Arguments = 5

ARGV 命令行參數(shù)數(shù)組

存儲(chǔ)命令行參數(shù)的數(shù)組，索引范圍從0 - ARGC - 1。

$ awk 'BEGIN { 
   for (i = 0; i < ARGC - 1; ++i) { 
      printf "ARGV[%d] = %s\n", i, ARGV[i] 
   } 
}' one two three four
ARGV[0] = awk
ARGV[1] = one
ARGV[2] = two
ARGV[3] = three

CONVFMT 數(shù)字的約定格式

代表了數(shù)字的約定格式，默認(rèn)值是%.6g

$ awk 'BEGIN { print "Conversion Format =", CONVFMT }'
Conversion Format = %.6g

ENVIRON 環(huán)境變量

環(huán)境變量的關(guān)聯(lián)數(shù)組

$ awk 'BEGIN { print ENVIRON["USER"] }'
mylxsw

FILENAME 當(dāng)前文件名

$ awk 'END {print FILENAME}' marks.txt
marks.txt

FS 輸入字段的分隔符

代表了輸入字段的分隔符，默認(rèn)值為空格，可以通過-F選項(xiàng)在命令行選項(xiàng)中修改它。

$ awk 'BEGIN {print "FS = " FS}' | cat -vte
FS =  $
$ awk -F , 'BEGIN {print "FS = " FS}' | cat -vte
FS = ,$

NF 字段數(shù)目

代表了當(dāng)前行中的字段數(shù)目，例如下面例子打印出了包含大于兩個(gè)字段的行

$ echo -e "One Two\nOne Two Three\nOne Two Three Four" | awk 'NF > 2'
One Two Three
One Two Three Four

NR 行號(hào)

$ echo -e "One Two\nOne Two Three\nOne Two Three Four" | awk 'NR < 3'
One Two
One Two Three

FNR 行號(hào)（相對(duì)當(dāng)前文件）

與NR相似，不過在處理多文件時(shí)更有用，獲取的行號(hào)相對(duì)于當(dāng)前文件。

OFMT 輸出格式數(shù)字

默認(rèn)值為%.6g

$ awk 'BEGIN {print "OFMT = " OFMT}'
OFMT = %.6g

OFS 輸出字段分隔符

輸出字段分隔符，默認(rèn)為空格

$ awk 'BEGIN {print "OFS = " OFS}' | cat -vte
OFS =  $

ORS 輸出行分隔符

默認(rèn)值為換行符

$ awk 'BEGIN {print "ORS = " ORS}' | cat -vte
ORS = $
$

RLENGTH

代表了 match 函數(shù)匹配的字符串長(zhǎng)度。

$ awk 'BEGIN { if (match("One Two Three", "re")) { print RLENGTH } }'
2

RS 輸入記錄分隔符

$ awk 'BEGIN {print "RS = " RS}' | cat -vte
RS = $
$

RSTART

match函數(shù)匹配的第一次出現(xiàn)位置

$ awk 'BEGIN { if (match("One Two Three", "Thre")) { print RSTART } }
9

SUBSEP 數(shù)組子腳本的分隔符

數(shù)組子腳本的分隔符，默認(rèn)為\034

$ awk 'BEGIN { print "SUBSEP = " SUBSEP }' | cat -vte
SUBSEP = ^\$

$ 0 代表了當(dāng)前行

代表了當(dāng)前行

$ awk '{print $0}' marks.txt
1) Amit     Physics   80
2) Rahul    Maths     90
3) Shyam    Biology   87
4) Kedar    English   85
5) Hari     History   89

$n

當(dāng)前行中的第n個(gè)字段

$ awk '{print $3 "\t" $4}' marks.txt
Physics   80
Maths     90
Biology   87
English   85
History   89

GNU AWK的變量

ARGIND

當(dāng)前被處理的ARGV的索引

$ awk '{ 
   print "ARGIND   = ", ARGIND; print "Filename = ", ARGV[ARGIND] 
}' junk1 junk2 junk3
ARGIND   =  1
Filename =  junk1
ARGIND   =  2
Filename =  junk2
ARGIND   =  3
Filename =  junk3

BINMODE

在非POSIX系統(tǒng)上指定對(duì)所有的文件I/O采用二進(jìn)制模式。

ERRORNO

一個(gè)代表了getline跳轉(zhuǎn)失敗或者是close調(diào)用失敗的錯(cuò)誤的字符串。

$ awk 'BEGIN { ret = getline < "junk.txt"; if (ret == -1) print "Error:", ERRNO }'
Error: No such file or directory

FIELDWIDTHS

設(shè)置了空格分隔的字段寬度變量列表的話，GAWK會(huì)將輸入解析為固定寬度的字段，而不是使用FS進(jìn)行分隔。

IGNORECASE

設(shè)置了這個(gè)變量的話，AWK會(huì)忽略大小寫。

$ awk 'BEGIN{IGNORECASE = 1} /amit/' marks.txt
1) Amit  Physics   80

LINT

提供了對(duì)--lint選項(xiàng)的動(dòng)態(tài)控制。

$ awk 'BEGIN {LINT = 1; a}'
awk: cmd. line:1: warning: reference to uninitialized variable `a'
awk: cmd. line:1: warning: statement has no effect

PROCINFO

包含進(jìn)程信息的關(guān)聯(lián)數(shù)組，例如UID，進(jìn)程ID等

$ awk 'BEGIN { print PROCINFO["pid"] }'
4316

TEXTDOMAIN

代表了AWK的文本域，用于查找字符串的本地化翻譯。

$ awk 'BEGIN { print TEXTDOMAIN }'
messages

操作符

與其它編程語言一樣，AWK也提供了大量的操作符。

算數(shù)操作符

算數(shù)操作符不多說，直接看例子，無非就是+-*/%

$ awk 'BEGIN { a = 50; b = 20; print "(a + b) = ", (a + b) }'
(a + b) =  70

$ awk 'BEGIN { a = 50; b = 20; print "(a - b) = ", (a - b) }'
(a - b) =  30

$ awk 'BEGIN { a = 50; b = 20; print "(a * b) = ", (a * b) }'
(a * b) =  1000

$ awk 'BEGIN { a = 50; b = 20; print "(a / b) = ", (a / b) }'
(a / b) =  2.5

$ awk 'BEGIN { a = 50; b = 20; print "(a % b) = ", (a % b) }'
(a % b) =  10

增減運(yùn)算符

自增自減與C語言一致。

$ awk 'BEGIN { a = 10; b = ++a; printf "a = %d, b = %d\n", a, b }'
a = 11, b = 11

$ awk 'BEGIN { a = 10; b = --a; printf "a = %d, b = %d\n", a, b }'
a = 9, b = 9

$ awk 'BEGIN { a = 10; b = a++; printf "a = %d, b = %d\n", a, b }'
a = 11, b = 10

$ awk 'BEGIN { a = 10; b = a--; printf "a = %d, b = %d\n", a, b }'
a = 9, b = 10

賦值操作符

$ awk 'BEGIN { name = "Jerry"; print "My name is", name }'
My name is Jerry
$ awk 'BEGIN { cnt = 10; cnt += 10; print "Counter =", cnt }'
Counter = 20
$ awk 'BEGIN { cnt = 100; cnt -= 10; print "Counter =", cnt }'
Counter = 90
$ awk 'BEGIN { cnt = 10; cnt *= 10; print "Counter =", cnt }'
Counter = 100
$ awk 'BEGIN { cnt = 100; cnt /= 5; print "Counter =", cnt }'
Counter = 20
$ awk 'BEGIN { cnt = 100; cnt %= 8; print "Counter =", cnt }'
Counter = 4
$ awk 'BEGIN { cnt = 2; cnt ^= 4; print "Counter =", cnt }'
Counter = 16
$ awk 'BEGIN { cnt = 2; cnt **= 4; print "Counter =", cnt }'
Counter = 16

關(guān)系操作符

$ awk 'BEGIN { a = 10; b = 10; if (a == b) print "a == b" }'
a == b
$ awk 'BEGIN { a = 10; b = 20; if (a != b) print "a != b" }'
a != b
$ awk 'BEGIN { a = 10; b = 20; if (a < b) print "a  < b" }'
a  < b
$ awk 'BEGIN { a = 10; b = 10; if (a <= b) print "a <= b" }'
a <= b
$ awk 'BEGIN { a = 10; b = 20; if (b > a ) print "b > a" }'
b > a

邏輯操作符

$ awk 'BEGIN {
   num = 5; if (num >= 0 && num <= 7) printf "%d is in octal format\n", num
}'
5 is in octal format
$ awk 'BEGIN {
   ch = "\n"; if (ch == " " || ch == "\t" || ch == "\n")
   print "Current character is whitespace."
}'
Current character is whitespace.
$ awk 'BEGIN { name = ""; if (! length(name)) print "name is empty string." }'
name is empty string.

三元操作符

$ awk 'BEGIN { a = 10; b = 20; (a > b) ? max = a : max = b; print "Max =", max}'
Max = 20

一元操作符

$ awk 'BEGIN { a = -10; a = +a; print "a =", a }'
a = -10
$ awk 'BEGIN { a = -10; a = -a; print "a =", a }'
a = 10

指數(shù)操作符

$ awk 'BEGIN { a = 10; a = a ^ 2; print "a =", a }'
a = 100

$ awk 'BEGIN { a = 10; a ^= 2; print "a =", a }'
a = 100

字符串連接操作符

$ awk 'BEGIN { str1 = "Hello, "; str2 = "World"; str3 = str1 str2; print str3 }'
Hello, World

數(shù)組成員操作符

$ awk 'BEGIN { 
   arr[0] = 1; arr[1] = 2; arr[2] = 3; for (i in arr) printf "arr[%d] = %d\n", i, arr[i]
}'
arr[2] = 3
arr[0] = 1
arr[1] = 2

正則表達(dá)式操作符

正則表達(dá)式操作符使用 ~ 和 !~ 分別代表匹配和不匹配。

$ awk '$0 ~ 9' marks.txt
2) Rahul   Maths    90
5) Hari    History  89

$ awk '$0 !~ 9' marks.txt
1) Amit     Physics   80
3) Shyam    Biology   87
4) Kedar    English   85

# 匹配正則表達(dá)式需要在表達(dá)式前后添加反斜線，與js類似吧
$ tail -n 40 /var/log/nginx/access.log | awk '$0 ~ /ip\[127\.0\.0\.1\]/'

更多關(guān)于正則表達(dá)式請(qǐng)看后面的正則表達(dá)式部分

正則表達(dá)式

AWK在處理正則表達(dá)式方面是非常強(qiáng)大的，使用簡(jiǎn)單的正則表達(dá)式可以處理非常復(fù)雜的問題。

$ echo -e "cat\nbat\nfun\nfin\nfan" | awk '/f.n/'
fun
fin
fan

$ echo -e "This\nThat\nThere\nTheir\nthese" | awk '/^The/'
There
Their

$ echo -e "knife\nknow\nfun\nfin\nfan\nnine" | awk '/n$/'
fun
fin
fan

$ echo -e "Call\nTall\nBall" | awk '/[CT]all/'
Call
Tall

$ echo -e "Call\nTall\nBall" | awk '/[^CT]all/'
Ball

$ echo -e "Call\nTall\nBall\nSmall\nShall" | awk '/Call|Ball/'
Call
Ball

$ echo -e "Colour\nColor" | awk '/Colou?r/'
Colour
Color

$ echo -e "ca\ncat\ncatt" | awk '/cat*/'
ca
cat
catt

$ echo -e "111\n22\n123\n234\n456\n222"  | awk '/2+/'
22
123
234
222

$ echo -e "Apple Juice\nApple Pie\nApple Tart\nApple Cake" | awk '/Apple (Juice|Cake)/'
Apple Juice
Apple Cake

數(shù)組

AWK支持關(guān)聯(lián)數(shù)組，也就是說，不僅可以使用數(shù)字索引的數(shù)組，還可以使用字符串作為索引，而且數(shù)字索引也不要求是連續(xù)的。數(shù)組不需要聲明可以直接使用，語法如下：

array_name[index] = value

創(chuàng)建數(shù)組的方式非常簡(jiǎn)單，直接為變量賦值即可

$ awk 'BEGIN {
   fruits["mango"] = "yellow";
   fruits["orange"] = "orange"
   print fruits["orange"] "\n" fruits["mango"]
}'
orange
yellow

刪除數(shù)組元素使用delete語句

$ awk 'BEGIN {
   fruits["mango"] = "yellow";
   fruits["orange"] = "orange";
   delete fruits["orange"];
   print fruits["orange"]
}'

在AWK中，只支持一維數(shù)組，但是可以通過一維數(shù)組模擬多維，例如我們有一個(gè)3x3的三維數(shù)組

100   200   300
400   500   600
700   800   900

可以這樣操作

$ awk 'BEGIN {
   array["0,0"] = 100;
   array["0,1"] = 200;
   array["0,2"] = 300;
   array["1,0"] = 400;
   array["1,1"] = 500;
   array["1,2"] = 600;

   # print array elements
   print "array[0,0] = " array["0,0"];
   print "array[0,1] = " array["0,1"];
   print "array[0,2] = " array["0,2"];
   print "array[1,0] = " array["1,0"];
   print "array[1,1] = " array["1,1"];
   print "array[1,2] = " array["1,2"];
}'
array[0,0] = 100
array[0,1] = 200
array[0,2] = 300
array[1,0] = 400
array[1,1] = 500
array[1,2] = 600

流程控制

流程控制語句與大多數(shù)語言一樣，基本格式如下

if (condition)
   action
   
if (condition) {
   action-1
   action-1
   .
   .
   action-n
}

if (condition)
   action-1
else if (condition2)
   action-2
else
   action-3

例如：

$ awk 'BEGIN {
   num = 11; if (num % 2 == 0) printf "%d is even number.\n", num; 
      else printf "%d is odd number.\n", num 
}'

$ awk 'BEGIN {
   a = 30;
   
   if (a==10)
   print "a = 10";
   else if (a == 20)
   print "a = 20";
   else if (a == 30)
   print "a = 30";
}'

循環(huán)

循環(huán)操作與其他C系語言一樣，主要包括 for，whlie，do...while，break，continue 語句，當(dāng)然，還有一個(gè) exit語句用于退出腳本執(zhí)行。

for (initialisation; condition; increment/decrement)
   action

while (condition)
   action

do
   action
while (condition)

例子：

$ awk 'BEGIN { for (i = 1; i <= 5; ++i) print i }'

$ awk 'BEGIN {i = 1; while (i < 6) { print i; ++i } }'

$ awk 'BEGIN {i = 1; do { print i; ++i } while (i < 6) }'

$ awk 'BEGIN {
   sum = 0; for (i = 0; i < 20; ++i) { 
      sum += i; if (sum > 50) break; else print "Sum =", sum 
   } 
}'

$ awk 'BEGIN {
   for (i = 1; i <= 20; ++i) {
      if (i % 2 == 0) print i ; else continue
   } 
}'

$ awk 'BEGIN {
   sum = 0; for (i = 0; i < 20; ++i) {
      sum += i; if (sum > 50) exit(10); else print "Sum =", sum 
   } 
}'

exit用于退出腳本，參數(shù)為退出的狀態(tài)碼，可以通過shell中的$?獲取

函數(shù)

內(nèi)建函數(shù)

AWK提供了很多方便的內(nèi)建函數(shù)供編程人員使用。由于函數(shù)比較多，個(gè)人覺得單純看每個(gè)函數(shù)的使用也沒有什么實(shí)際意義，比較容易遺忘，因此，這里只簡(jiǎn)單的列出常用的一些函數(shù)，只需要對(duì)其有個(gè)印象即可，使用的時(shí)候再去 查手冊(cè) 效果會(huì)更好一些吧。

數(shù)學(xué)函數(shù)

  • atan2(y, x)
  • cos(expr)
  • exp(expr)
  • int(expr)
  • log(expr)
  • rand
  • sin(expr)
  • sqrt(expr)
  • srand([expr])

字符串函數(shù)

  • asort(arr [, d [, how] ])
  • asorti(arr [, d [, how] ])
  • gsub(regex, sub, string)
  • index(str, sub)
  • length(str)
  • match(str, regex)
  • split(str, arr, regex)
  • sprintf(format, expr-list)
  • strtonum(str)
  • sub(regex, sub, string)
  • substr(str, start, l)
  • tolower(str)
  • toupper(str)

時(shí)間函數(shù)

  • systime
  • mktime(datespec)
  • strftime([format [, timestamp[, utc-flag]]])

字節(jié)操作函數(shù)

  • and
  • compl
  • lshift
  • rshift
  • or
  • xor

其它

  • close(expr) 關(guān)閉管道文件

    請(qǐng)看下面這段代碼

      $ awk 'BEGIN {
     cmd = "tr [a-z] [A-Z]"
     print "hello, world !!!" |& cmd
     
     close(cmd, "to")
     cmd |& getline out
     print out;
     
     close(cmd);
  }'
  HELLO, WORLD !!!

    是不是感覺很難懂？讓我來解釋一下

    • 第一個(gè)語句cmd = "tr [a-z] [A-Z]"是我們?cè)贏WK中要用來建立雙向連接的命令。
    • 第二個(gè)語句print提供了tr命令的輸入，使用 &| 表名建立雙向連接。
    • 第三個(gè)語句close(cmd, "to")用于執(zhí)行完成后關(guān)閉to進(jìn)程
    • 第四個(gè)語句cmd |& getline out使用getline函數(shù)存儲(chǔ)輸出到out變量
    • 接下來打印變量out的內(nèi)容，然后關(guān)閉cmd

  • delete 用于刪除數(shù)組元素

  • exit 退出腳本執(zhí)行，并返回狀態(tài)碼參數(shù)

  • fflush

  • getline 該命令讓awk讀取下一行內(nèi)容

    該命令讓awk讀取下一行內(nèi)容，比如

      $ awk '{getline; print $0}' marks.txt
  2) Rahul   Maths     90
  4) Kedar   English   85
  5) Hari    History   89

    使用getline var < file可以從file中讀取輸入，存儲(chǔ)到變量var中

      {
       if (NF == 2 && $1 == "@include") {
            while ((getline line < $2) > 0)
                 print line
            # 這里的close確保如果文件中兩個(gè)@include，可以讓其讀取兩次
            close($2)
       } else
            print
  }

    命令的輸出也可以通過管道輸入到getline，使用command | getline這種方式。在這種情況下，字符串命令會(huì)作為shell命令執(zhí)行，其標(biāo)準(zhǔn)輸出會(huì)通過管道傳遞個(gè)awk作為其輸入，這種形式的getline會(huì)從管道中一次讀取一條記錄。例如下面的命令會(huì)從輸入中逐行讀取，如果遇到@execute，則將該行作為命令執(zhí)行，將命令的輸出作為最終的輸出內(nèi)容

      {
       if ($1 == "@execute") {
            tmp = substr($0, 10)        # Remove "@execute"
            while ((tmp | getline) > 0)
                 # 這里實(shí)際上設(shè)置了$0為這一行的內(nèi)容
                 print
            close(tmp)
       } else
            print
  }

    如果文件包含以下內(nèi)容

      foo
  bar
  baz
  @execute who
  bletch

    則會(huì)輸出

      foo
  bar
  baz
  arnold     ttyv0   Jul 13 14:22
  miriam     ttyp0   Jul 13 14:23     (murphy:0)
  bill       ttyp1   Jul 13 14:23     (murphy:0)
  bletch

    使用command | getline var可以實(shí)現(xiàn)將命令的輸出寫入到變量var。

      BEGIN {
       "date" | getline current_time
       close("date")
       print "Report printed on " current_time
  }

    getline使用管道讀取輸入是一種單向的操作，在某些場(chǎng)景下，你可能希望發(fā)送數(shù)據(jù)到另一個(gè)進(jìn)程，然后從這個(gè)進(jìn)程中讀取處理后的結(jié)果， 這就用到了協(xié)同進(jìn)程，我們可以使用|&打開一個(gè)雙向管道。

      print "some query" |& "db_server"
  "db_server" |& getline

    同樣，我們也可以使用command |& getline var將協(xié)同進(jìn)程的輸出寫入到變量var。

  • next

  • nextfile

  • return

    用于用戶自定義函數(shù)的返回值。
    首先，創(chuàng)建一個(gè)functions.awk文件，包含下面的awk命令

      function addition(num1, num2) {
     result = num1 + num2
     return result
  }
  BEGIN {
     res = addition(10, 20)
     print "10 + 20 = " res
  }

    執(zhí)行上述代碼，輸出

      10 + 20 = 30

  • system

    該函數(shù)用于執(zhí)行指定的命令并且返回它的退出狀態(tài)，返回狀態(tài)碼0表示命令成功執(zhí)行。

      $ awk 'BEGIN { ret = system("date"); print "Return value = " ret }'
  2016年 10月 27日 星期四 22:08:36 CST
  Return value = 0

用戶自定義函數(shù)

函數(shù)是程序基本的組成部分，AWK允許我們自己創(chuàng)建自定義的函數(shù)。一個(gè)大型的程序可以被劃分為多個(gè)函數(shù)，每個(gè)函數(shù)之間可以獨(dú)立的開發(fā)和測(cè)試，提供可重用的代碼。

下面是用戶自定義函數(shù)的基本語法

function function_name(argument1, argument2, ...) { 
   function body
}

例如，我們創(chuàng)建一個(gè)名為functions.awk的文件，包含下面的代碼

# Returns minimum number
function find_min(num1, num2){
   if (num1 < num2)
   return num1
   return num2
}
# Returns maximum number
function find_max(num1, num2){
   if (num1 > num2)
   return num1
   return num2
}
# Main function
function main(num1, num2){
   # Find minimum number
   result = find_min(10, 20)
   print "Minimum =", result
  
   # Find maximum number
   result = find_max(10, 20)
   print "Maximum =", result
}
# Script execution starts here
BEGIN {
   main(10, 20)
}

執(zhí)行上述代碼，會(huì)得到下面的輸出

Minimum = 10
Maximum = 20

輸出重定向

重定向操作符

到目前為止，我們所有的程序都是直接顯示數(shù)據(jù)到了標(biāo)準(zhǔn)輸出流，其實(shí)，我們也可以將輸出重定向到文件。重定向操作符跟在print和printf函數(shù)的后面，與shell中的用法基本一致。

print DATA > output-file
print DATA >> output-file

例如，下面兩條命令輸出是一致的

$ echo "Hello, World !!!" > /tmp/message.txt
$ awk 'BEGIN { print "Hello, World !!!" > "/tmp/message.txt" }'

與shell中一樣，>用于將輸出寫入到指定的文件中，如果文件中有內(nèi)容則覆蓋，而>>則為追加模式寫入。

$ awk 'BEGIN { print "Hello, World !!!" >> "/tmp/message.txt" }'
$ cat /tmp/message.txt

管道

除了將輸出重定向到文件之外，我們還可以將輸出重定向到其它程序，與shell中一樣，我們可以使用管道操作符|。

$ awk 'BEGIN { print "hello, world !!!" | "tr [a-z] [A-Z]" }'
HELLO, WORLD !!!

AWK中可以使用|&進(jìn)行雙向連接，那么什么是雙向連接呢？一種常見的場(chǎng)景是我們發(fā)送數(shù)據(jù)到另一個(gè)程序處理，然后讀取處理結(jié)果，這種場(chǎng)景下就需要打開一個(gè)到另外一個(gè)進(jìn)程的雙向管道了。第二個(gè)進(jìn)程會(huì)與gawk程序并行執(zhí)行，這里稱其為 協(xié)作進(jìn)程。與單向連接使用|操作符不同的是，雙向連接使用|&操作符。

do {
    print data |& "subprogram"
    "subprogram" |& getline results
} while (data left to process)
close("subprogram")

第一次I/O操作使用了|&操作符，gawk會(huì)創(chuàng)建一個(gè)到運(yùn)行其它程序的子進(jìn)程的雙向管道，print的輸出被寫入到了subprogram的標(biāo)準(zhǔn)輸入，而這個(gè)subprogram的標(biāo)準(zhǔn)輸出在gawk中使用getline函數(shù)進(jìn)行讀取。

注意：目前協(xié)同進(jìn)程的標(biāo)準(zhǔn)錯(cuò)誤輸出將會(huì)和gawk的標(biāo)準(zhǔn)錯(cuò)誤輸出混雜在一起，無法單獨(dú)獲取標(biāo)準(zhǔn)錯(cuò)誤輸出。另外，I/O緩沖可能存在問題，gawk程序會(huì)自動(dòng)的刷新所有輸出到下游的協(xié)同進(jìn)程的管道。但是，如果協(xié)同進(jìn)程沒有刷新其標(biāo)準(zhǔn)輸出的話，gawk將可能會(huì)在使用getline函數(shù)從協(xié)同進(jìn)程讀取輸出的時(shí)候掛起，這就可能引起死鎖。

我們可以使用close函數(shù)關(guān)閉雙向管道的to或者from一端，這兩個(gè)字符串值告訴gawk發(fā)送數(shù)據(jù)到協(xié)同進(jìn)程完成時(shí)或者從協(xié)同進(jìn)程讀取完畢時(shí)關(guān)閉管道。在使用系統(tǒng)命令sort的時(shí)候是這樣做是非常必要的，因?yàn)樗仨毜人休敵龆甲x取完畢時(shí)才能進(jìn)行排序。

BEGIN {
    command = "LC_ALL=C sort"
    n = split("abcdefghijklmnopqrstuvwxyz", a, "")

    for (i = n; i > 0; i--)
        print a[i] |& command
    close(command, "to")

    while ((command |& getline line) > 0)
        print "got", line
    close(command)
}

例如，下面的例子中使用tr命令轉(zhuǎn)換小寫為大寫。我們的command.awk文件包含以下內(nèi)容

BEGIN {
   cmd = "tr [a-z] [A-Z]"
   print "hello, world !!!" |& cmd
   close(cmd, "to")
   
   cmd |& getline out
   print out;
   close(cmd);
}

輸出

HELLO, WORLD !!!

上例看起來有些復(fù)雜，我們逐行分析一下

  • 首先，第一行 cmd = "tr [a-z] [A-Z]" 是在AWK中要建立雙向連接的命令
  • 第二行的print命令用于為tr命令提供輸入，而 |& 用于指出要建立雙向連接
  • 第三行用于在上面的語句close(cmd, "to"),在執(zhí)行完成后關(guān)閉其to進(jìn)程
  • 第四行 cmd |& getline out使用getline函數(shù)存儲(chǔ)輸出到變量out中
  • 最后一行使用close函數(shù)關(guān)閉命令

美化輸出

到目前為止，我們已經(jīng)使用過print和printf函數(shù)顯示數(shù)據(jù)到標(biāo)準(zhǔn)輸出，但是printf函數(shù)實(shí)際上要比我們之前使用的情況更加強(qiáng)大得多。該函數(shù)是從C語言中借鑒來的，在處理格式化的輸出時(shí)非常有用。

$ awk 'BEGIN { printf "Hello\nWorld\n" }'
Hello
World

$ awk 'BEGIN { printf "ASCII value 65 = character %c\n", 65 }'
ASCII value 65 = character A

格式化輸出標(biāo)識(shí)有 %c， %d，%s 等，基本與C語言一致，這里就不多贅述了。

執(zhí)行shell命令

在AWK中執(zhí)行shell命令有兩種方式

  • 使用system函數(shù)
  • 使用管道

使用system函數(shù)

system函數(shù)用于執(zhí)行操作系統(tǒng)命令并且返回命令的退出碼到awk。

END {
     system("date | mail -s 'awk run done' root")
}

使用管道

如果要執(zhí)行的命令很多，可以將輸出的命令直接用管道傳遞給"/bin/sh"執(zhí)行

while (more stuff to do)
    print command | "/bin/sh"
close("/bin/sh")

參考

本文將會(huì)持續(xù)修正和更新，最新內(nèi)容請(qǐng)參考我的 GITHUB 上的 程序猿成長(zhǎng)計(jì)劃 項(xiàng)目，歡迎 Star。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 轉(zhuǎn)載 原文的排版和內(nèi)容都更加友好,并且詳細(xì),我只是在這里貼出了一部分留作自己以后參考和學(xué)習(xí),如希望更詳細(xì)了解AWK...
    XKirk閱讀 3,365評(píng)論 2贊 25
  • awk: grep,sed,awk grep：文本過濾 sed：文本編輯 awk：文本格式化工具； 1 什么是aw...
    木林森閱讀 1,906評(píng)論 0贊 16
  • awk介紹awk變量printf命令：實(shí)現(xiàn)格式化輸出操作符awk patternawk actionawk數(shù)組aw...
    哈嘍別樣閱讀 1,737評(píng)論 0贊 4
  • awk簡(jiǎn)介 awk是一種編程語言，用于在linux/unix下對(duì)文本和數(shù)據(jù)進(jìn)行處理。數(shù)據(jù)可以來自標(biāo)準(zhǔn)輸入、一個(gè)或多...
    yeahuh閱讀 4,166評(píng)論 0贊 7
  • //查詢?nèi)?jí)聯(lián)動(dòng)的地址信息樹狀結(jié)構(gòu)--未應(yīng)用 public static functiongetRegionAdd...
    HongXunPan閱讀 719評(píng)論 0贊 1

友情鏈接更多精彩內(nèi)容