讀shell scripts的總結(jié)

今天讀程序,遇到一些sed命令和awk命令不太明白,于是去認(rèn)真查了查,搞清楚并且總結(jié)于此。

mnt=$(readlink -f $(grep -P "_dbdir_.*_nodeid_" some.conf | sed "s#.*_dbdir_\(.*\)_nodeid_#$dbdir\1$nd#")|sed 's#/HAS[0-9]*/\([a-zA-Z0-9_-]*\)#\1#')
好長,打字都好累,這么多符號,當(dāng)初誰寫的啊= =

又遇到一個(gè)比較難的sed命令行,簡直醉了。
sed -n '/^\['$nd_str'\]/,/^\[/{s/ *'DBDir'[ ]*= *\(.*\)[ ]*$/\1/p;}' kernelite.ini

  1. readlink命令
    readlink是用來找出符號鏈接指向的位置,使用readlink --help to print value of symbolic link or canonical name
    -f 參數(shù)是 遞歸跟隨給出文件名的所有符號鏈接以標(biāo)準(zhǔn)化
  2. grep -P -o -c命令
    -P, --perl-regexp: Interpret PATTERN as a Perl regular expression.
    -o, --only-matching: Show only the part of a matching line that matches PATTERN.
    -c,只輸出匹配行的計(jì)數(shù)
    -s ,不顯示不存在或無匹配文本的錯(cuò)誤信息。
    -q: 靜默模式, 不輸出任何結(jié)果
    -w: does a word search 全字匹配
  3. ps命令
    顯示當(dāng)前進(jìn)程的狀態(tài)
    -e-A,顯示所有進(jìn)程
    -o 表示自定義顯示
    -C<命令> 列出指定命令的狀況
    pid=$(ps -e -o pid,args | awk '/'$SysGov'$/{print $1}')
  4. xargs
    將前一個(gè)命令的輸出作為參數(shù)
    ps -e -o pid,args | egrep "$SysGov$|$SysGov .*ini$" |cut -c1-5 | xargs kill -9 2>/dev/null
    另外一個(gè)例子
    file -Lz *|grep ASCII |cut -d":" -f1 | xargs ls -ltr
  5. killall命令
    killall命令用于殺死指定名字的進(jìn)程,kill是殺死指定PID的進(jìn)程,但是在這之前要使用ps等命令再grep來查找進(jìn)程
    ssh $i "killall -9 $UBSH 2>/dev/null
  6. scp命令
    -p 保留原文件的修改時(shí)間以及權(quán)限
    -q 不顯示傳輸進(jìn)度條
    scp -qp $srcdir/SysGovernor $SysGov
  7. ln命令
    -f 強(qiáng)制執(zhí)行
    -s 軟連接,符號鏈接
    第一個(gè)是源文件,第二個(gè)是目標(biāo)文件,硬鏈接是一個(gè)檔案可以有多個(gè)名稱,軟鏈接是一個(gè)特殊的檔案指向另外一個(gè)檔案的位置。
    ln -fs $UBClient UBClient
  8. sed命令
    sed是在線編輯器,一次處理一行內(nèi)容,處理的時(shí)候把當(dāng)前的行存儲在臨時(shí)緩沖區(qū)中,sed命令處理緩沖區(qū)中的內(nèi)容,處理完成后,把緩沖區(qū)的內(nèi)容送往屏幕。
    sed 1d刪除第一行
    \(..\):保存括號內(nèi)匹配的字符,在上面的匹配中,括號中一般匹配到的是/
    sed 's/test/mytest/g example 將整行范圍內(nèi)進(jìn)行替換,沒有g(shù)標(biāo)記,每行直郵第一個(gè)匹配的test被替換
    sed 's/\(love\)able/\1rs/p' examplelove被標(biāo)記為 1,然后進(jìn)行替換成lovers
    sed 's#19#100#g' example不論什么字符,緊跟著s命令的都被認(rèn)為是新的分隔符,#代替了/作為分隔符
    *表示匹配0個(gè)或者多個(gè)字符
    .表示匹配一個(gè)非換行符的字符
    sed -n 取消默認(rèn)輸出,等同于--quiet, --silent
    sed -n '/test/,/check/p' example所有在test和check所確定的范圍內(nèi)的行都將被打印,主要是有p選項(xiàng)
    sed '/test/,/check/s/$/sed test/' example 對于模版test和check之間的行,每行的末尾都用sed test進(jìn)行替換。上面的程序就是如此,只不過后面的替換s命令太長,所以就使用了{(lán)},然后里面命令后面要加分號,也就是對于每一個(gè)node的信息段,將DBDir的路徑打印出來,注意-n選項(xiàng)的使用,以及p選項(xiàng)的使用。
  9. awk命令
    awk同樣也是行處理器,在與屏幕處理相比較,處理龐大文件的時(shí)候不會出現(xiàn)內(nèi)存溢出或者處理緩慢,用來格式化文本信息。
    has=$(grep -P "^$mnt\t" $autohas | awk -F '\t|:' '{print $2}' | sort -u)
    awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file是awk命令形式
    awk -F '\t|:'用于指定分隔符是\t或者:
    -f 參數(shù)是調(diào)用腳本
    -v 定義變量 var=value
    $0 表示整個(gè)當(dāng)前行
    $1 表示每行的第一個(gè)字段
    NF 字段數(shù)量變量
    NR 每行的紀(jì)錄號,多個(gè)文件遞增
    FNR 每行的記錄號
    FS BEGIN定義分隔符
    RS 輸入的紀(jì)錄分隔符,默認(rèn)是一行一行輸入,換行符
    OFS 輸出字段分隔符,默認(rèn)是空格
    ORS 輸出的紀(jì)錄分隔符,默認(rèn)是換行符
    -F '[:#/]' 定義三個(gè)分隔符
    awk -f script.awk file 'BEGIN{FS=":"} {print $1}'
  10. 一些例子
    1)sed與awk
    sed 's/#.*//; s/[:=]/ /g' param.ini|awk '/NodeIP/ {print ++c-1,$2}'|grep -w x139|cut -d' ' -f1
    首先sed執(zhí)行了替換操作,第一個(gè)替換是把#以及后面的內(nèi)容替換為空,然后是將: =這兩個(gè)符號替換為空白字符串,接下來尋找有NodeIP的一行,打印c以及第二個(gè)字段,c默認(rèn)初始值為0,也就是nodes的序號,然后執(zhí)行精確匹配grep -w匹配出需要的nodes的行,然后獲取其序號。
    2). pgrep以及awk
    ki=$(pgrep -lf $SysGov | awk '/-k/{print $NF}')
    pgrep查看進(jìn)程的消息,通過進(jìn)程名字來查詢進(jìn)程,判斷程序是否在運(yùn)行
    -l 表示同時(shí)顯示進(jìn)程名和PID
    -f 表示全部命令行,包括命令執(zhí)行參數(shù)
    /-k/{print $NF} 表示匹配-k,然后NDF表示字段數(shù)量,也就是說打印出最后一個(gè)字段
    3).一個(gè)循環(huán)處理
i=0
while((i<3));do 
echo $(uptime|cut -d, -f3-|cut -d: -f2)
i=$[ $i + 1 ]
done|awk '{x += $1} END{printf "%.0f\n",x}'```
打印出3次uptime之和,因?yàn)镋ND是當(dāng)程序運(yùn)行結(jié)束后才會運(yùn)行的。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 知識點(diǎn) sort uniq cut wc sed命令 awk命令 crontab定時(shí)器 sort sort 命令對...
  • sed與awk實(shí)例 文本間隔 在每一行后面增加一空行 將原來的所有空行刪除并在每一行后面增加一空行。這樣在輸出的文...
    stuha閱讀 2,019評論 0 20
  • linux資料總章2.1 1.0寫的不好抱歉 但是2.0已經(jīng)改了很多 但是錯(cuò)誤還是無法避免 以后資料會慢慢更新 大...
    數(shù)據(jù)革命閱讀 13,230評論 2 33
  • 本文承接之前寫的三十分鐘學(xué)會AWK一文,在學(xué)習(xí)完AWK之后,趁熱打鐵又學(xué)習(xí)了一下SED,不得不說這兩個(gè)工具真的堪稱...
    mylxsw閱讀 4,515評論 3 74
  • 行走過許多地方,從未有哪里像伊春這樣讓我魂?duì)繅衾@,回來一個(gè)多月了,身已遠(yuǎn),心長留! 7月下旬,北京的桑拿天初起,我...
    簡姝k閱讀 712評論 0 1

友情鏈接更多精彩內(nèi)容