如何解決 shell 腳本重復(fù)執(zhí)行的問題

image

在開發(fā)過程中,經(jīng)常會(huì)使用shell腳本去完成定時(shí)備份的任務(wù),普遍的做法是通過系統(tǒng)的定時(shí)任務(wù)定時(shí)執(zhí)行備份腳本

設(shè)想這樣一種場(chǎng)景,本次備份時(shí)間到了,自動(dòng)執(zhí)行備份腳本,如果備份比較耗時(shí)的話,會(huì)一直持續(xù)到下一次備份時(shí)間到了還未結(jié)束,下次備份又會(huì)自動(dòng)調(diào)用備份腳本,相當(dāng)于同一時(shí)間有兩個(gè)進(jìn)程在執(zhí)行備份腳本,這可能會(huì)導(dǎo)致備份數(shù)據(jù)錯(cuò)亂或其他不可預(yù)知的問題

更進(jìn)一步,假如執(zhí)行備份腳本消耗的時(shí)間遠(yuǎn)大于設(shè)置的備份間隔的話,系統(tǒng)會(huì)出現(xiàn)多個(gè)同時(shí)在執(zhí)行腳本的Bash實(shí)例,會(huì)占用大量的系統(tǒng)資源,進(jìn)而影響正常業(yè)務(wù)程序的運(yùn)行

那如何解決上述shell腳本重復(fù)執(zhí)行的問題呢,本文將要介紹的 flock 命令可以解決這個(gè)問題

簡(jiǎn)介

flock 是文件鎖命令,它可以保證Linux系統(tǒng)上進(jìn)程之間安全的訪問臨界資源,在shell腳本中,可以用來控制邏輯的互斥性

實(shí)例1

現(xiàn)有腳本 a.sh, 內(nèi)容如下

#!/bin/bash

echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..."

sleep 10

echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

在終端(記為終端1)中執(zhí)行 flock -xn ./f.lock -c ./a.sh 命令,結(jié)果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[2020-12-10 10:10:45] begin pid:5359...
[2020-12-10 10:10:55] end pid:5359...

在上述命令執(zhí)行期間,打開另一個(gè)終端(記為終端2),執(zhí)行同樣的命令,結(jié)果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[tt@ecs-centos-7 lock_test]$ 

上面的命令 flock -xn ./f.lock -c ./a.sh

-x 選項(xiàng)是排他鎖,有時(shí)候也稱為寫鎖,這是默認(rèn)選項(xiàng)

-n 選項(xiàng)是非阻塞,如果無法獲取鎖,立即返回失敗,而不是一直等待鎖的釋放

-c 選項(xiàng)后面是待執(zhí)行的命令

終端1 中執(zhí)行 flock -xn ./f.lock -c ./a.sh命令,對(duì) f.lock 文件加鎖,同時(shí)執(zhí)行 ./a.sh 命令,執(zhí)行過程會(huì)持續(xù)10秒左右( sleep 10 語句 )

由于終端2 中 flock -xn ./f.lock -c ./a.sh命令是在 終端1 命令執(zhí)行期間執(zhí)行的,此時(shí)終端1 還未釋放 f.lock文件鎖,再加上 -n選項(xiàng)是非阻塞的,所以終端2 不會(huì)阻塞等待 f.lock 文件鎖,而是立即返回

終端2 如果執(zhí)行 flock -x ./f.lock -c ./a.sh 命令,會(huì)一直阻塞等待,直到 終端1 釋放 f.lock 文件鎖,它才會(huì)獲取到 f.lock文件鎖并開始執(zhí) ./a.sh 命令

實(shí)例2

實(shí)例1 中每次都需要執(zhí)行 flock -xn 文件鎖 -c ./a.sh 命令,而且每個(gè)不能重復(fù)執(zhí)行的腳本都要分配一個(gè)文件鎖,還得保證不同的腳本得使用不同名字的文件鎖

有沒有辦法做到只要執(zhí)行 ./a.sh 命令就可以實(shí)現(xiàn) 實(shí)例1 中的功能呢?

答案:有的

我們把 a.sh 稍微修改下,修改之后的內(nèi)容如下

  1 #!/bin/bash
  2 
  3 
  4 echo "[`date +'%Y-%m-%d %H:%M:%S'`] 1111 pid:$$...MY_LOCK:${MY_LOCK}"
  5 
  6 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
  7 
  8 echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$...MY_LOCK:${MY_LOCK}"
  9 
 10 sleep 10
 11 
 12 echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

終端1 執(zhí)行 ./a.sh 命令,輸出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:35] 1111 pid:5944...MY_LOCK:
[2020-12-10 14:11:35] 1111 pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:35] begin pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:45] end pid:5946...

在終端1 命令執(zhí)行期間,終端2 執(zhí)行 ./a.sh命令,輸出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:44] 1111 pid:5976...MY_LOCK:
[2020-12-10 14:11:44]

新的 a.sh 腳本相比原來新增了第 4、6 兩行

第 4 行是日志打印

第 6 行說明

$0 是腳本名字,這里的值是 ./a.sh

$@ 是傳入 a.sh 腳本的所有參數(shù)

exec 會(huì)在當(dāng)前進(jìn)程執(zhí)行它后面緊接著的命令,當(dāng)前腳本進(jìn)程原來還未執(zhí)行完的命令不會(huì)執(zhí)行了

[ "${MY_LOCK}" != "$0" ] 是判斷 MY_LOCK 環(huán)境變量是否和腳本名字( a.sh ) 相同

如果不同,就執(zhí)行 env MY_LOCK="$0" 命令 和flock -xn "$0" "$0" "$@" 命令

env MY_LOCK="$0" 設(shè)置環(huán)境變量 MY_LOCK 的值為腳本名字

flock -xn "$0" "$0" "$@" 其實(shí)就是 flock -xn ./a.sh ./a.sh,它使用當(dāng)前腳本名字作為文件鎖

實(shí)例2 中,執(zhí)行 ./a.sh 命令之后,當(dāng)運(yùn)行到第 6 行時(shí),MY_LOCK 變量是空值,所以 [ "${MY_LOCK}" != "$0" ] 的結(jié)果為 true

exec 命令會(huì)忽略掉后面未執(zhí)行的命令,也即在當(dāng)前shell進(jìn)程中 第 6 行之后的命令都不會(huì)執(zhí)行了

緊接著, exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 命令, 把 MY_LOCK 變量的值設(shè)置為當(dāng)前腳本名字 ./a.sh ,同時(shí)執(zhí)行 flock -xn "$0" "$0" "$@" 命令,此命令會(huì)在一個(gè)新的子shell中執(zhí)行 ./a.sh ,所以腳本后續(xù)的輸出中打印的進(jìn)程ID和開始時(shí)不一樣

同時(shí),由于在 flock -xn "$0" "$0" "$@" 之前執(zhí)行過 env MY_LOCK="$0",MY_LOCK 變量的值被設(shè)置為了 ./a.sh, 所以 flock -xn "$0" "$0" "$@" 命令重新執(zhí)行 ./a.sh 命令時(shí), 腳本第 6 行的 [ "${MY_LOCK}" != "$0" ] 的結(jié)果為 false, 第 6 行 exec 后面的命令不會(huì)執(zhí)行,腳本接著從第 7 行一直執(zhí)行到最后, 結(jié)果輸出 8 和 12 行的日志也說明腳本執(zhí)行完了

總結(jié)

實(shí)例1 和 實(shí)例2 提供了兩種解決 腳本重復(fù)執(zhí)行的 方式,主要都是利用 flock 命令設(shè)置文件鎖來實(shí)現(xiàn)的,實(shí)例2 的方式更簡(jiǎn)單,只需要在腳本開頭加上 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 語句,調(diào)用腳本的命令保持不變

更多關(guān)于 flock 命令的選項(xiàng)及用法可以通過 man flock 自行查看

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容