shell 常用命令
expect
expect 命令是用來(lái)實(shí)現(xiàn)自動(dòng)化交互通信的,比如當(dāng)你在腳本中通過(guò)某些命令登錄、連接、上傳、下載等和遠(yuǎn)程服務(wù)器的交互時(shí),可能需要讓你輸入一些賬號(hào)、密碼等信息
如果這個(gè)過(guò)程是人工手動(dòng)在終端執(zhí)行的,那沒(méi)啥問(wèn)題,需要交互時(shí),你手動(dòng)輸入即可
但如果這個(gè)過(guò)程是交由腳本來(lái)自動(dòng)執(zhí)行的,難不成每次腳本執(zhí)行時(shí),還需要你在旁邊等著來(lái)輸密碼嗎?
所以,就可以借助 expect 來(lái)實(shí)現(xiàn)這個(gè)交互過(guò)程
可以先用 whereis 命令查找看看,是否支持 expect 命令,否則需要自行安裝
whereis expect
# expect: /usr/bin/expect /usr/share/man/man1/expect.1.gz
安裝
# Centos 系統(tǒng)的安裝,其余的自行查閱
#先下載 tcl,expect 依賴 tcl
yum -y install tcl
#再下載 tcl
yum -y install expect
#安裝完執(zhí)行 expect,查看是否安裝成功,失敗原因請(qǐng)自行查閱
[root@VM_0_15_centos test]# expect
expect1.1>
基本命令
spawn:用于啟動(dòng)一個(gè)子進(jìn)程來(lái)執(zhí)行后續(xù)命令
expect eof:用來(lái)退出 spawn 啟動(dòng)的子進(jìn)程,返回到當(dāng)前進(jìn)程環(huán)境,與 spawn 成對(duì)出現(xiàn)
expect:用于接收進(jìn)程的輸出信息(輸出重定向到 expect),如果接收的字符串與期待的不匹配,則一直阻塞,直到匹配上或者超過(guò)才繼續(xù)往下執(zhí)行
send:用于向進(jìn)程發(fā)送輸入信息(輸入重定向到 send),通常需要以
\n結(jié)尾set timeout 1:用于設(shè)置 expect 命令的超時(shí)時(shí)間,單位 s,輸入 -1 時(shí)表示無(wú)限長(zhǎng),默認(rèn)為 10s
[lindex $argv n]:用于獲取傳入給腳本的參數(shù),n 表示第幾個(gè)參數(shù),下標(biāo)從 0 開(kāi)始
set key value:用于設(shè)置變量,通常在腳本文件開(kāi)頭結(jié)合上面獲取參數(shù)使用,來(lái)給參數(shù)賦值個(gè)有意義的變量,如
set ip [lindex $argv 0]exp_continue:用于 expect 中需要復(fù)用匹配
send_user:用于打印輸出,相當(dāng)于 echo
-
interact:結(jié)束自動(dòng)化交互,轉(zhuǎn)入人工交互,如果腳本是純自動(dòng)化場(chǎng)景,那么不應(yīng)該有這條命令,腳本執(zhí)行結(jié)束則退出。如果是半自動(dòng)化場(chǎng)景,如自動(dòng)輸入賬號(hào)密碼,連接登錄操作,登錄之后交由人工交互,那可以使用該命令
expect 命令后面可跟隨字符串或?qū)ο?,如?/p>
expect "password"
send "xxx"
# 或者
expect {
"yes" {
send "yes\n"
exp_continue
}
"password" {
send "xxx"
expect "xxx"
send "xxx"
}
}
使用
#!/usr/bin/expect
# 使用 expect 結(jié)合 ssh 登錄遠(yuǎn)程服務(wù)器
# 將傳給腳本的參數(shù)賦值給變量
set sshPort [lindex $argv 0]
set user [lindex $argv 1]
set ip [lindex $argv 2]
set password [lindex $argv 3]
# spawn 命令新啟子進(jìn)程,執(zhí)行后面的命令
spawn ssh -p $sshPort $user@$ip
expect "password"
send "$password\n"
expect eof
exit 0
在當(dāng)前 shell 里執(zhí)行:
/usr/bin/expect login.sh "22" "root" "127.0.0.1" "xxxxx"
其實(shí),個(gè)人覺(jué)得,expect 就是利用了 shell 的輸入輸出重定向,原先在終端里人工進(jìn)行交互時(shí),由人工手動(dòng)將命令輸入給終端,命令執(zhí)行結(jié)果輸出到終端給用戶反饋
而 expect 則是將輸入由傳統(tǒng)的人工輸入給終端重定向到由 send 命令輸入,也就是輸入信息從 send 讀取,而命令執(zhí)行結(jié)果也不是輸出給終端,而是輸出給 expect 命令,這樣一來(lái),就可以實(shí)現(xiàn)由腳本來(lái)自動(dòng)化處理交互,畢竟輸入輸出腳本都可以拿到了
以上,個(gè)人理解
ssh
遠(yuǎn)程連接工具,用來(lái)登錄遠(yuǎn)程服務(wù)器
通常來(lái)說(shuō),借助 XShell 的可視化配置,就足夠連接上服務(wù)器了,但有些服務(wù)器,只能通過(guò)跳板機(jī)連接,此時(shí)就需要先登錄上跳板機(jī),然后再跳板機(jī)上使用 ssh 命令來(lái)連接服務(wù)器
當(dāng)然,XShell 也可以通過(guò) ssh 來(lái)連接登錄服務(wù)器,你不用圖形界面的操作也行
使用
ssh -p 22 root@ip
很簡(jiǎn)單,指定端口,登錄用戶,ip 地址就可以了,然后再手動(dòng)輸入密碼
如果不想每次登錄都輸入密碼,那么需要配置 ssh 私鑰、公鑰,將公鑰放置在服務(wù)器上
netstat -lntup | grep ssh
遠(yuǎn)程服務(wù)器上查看 ssh 端口號(hào),默認(rèn)是 22
service sshd reload
重啟 ssh 服務(wù),因?yàn)榭赡苄枰呐渲梦募?,如修改默認(rèn) 22 端口
scp
scp 命令用于 Linux 之間復(fù)制文件和目錄,也就是直接跟遠(yuǎn)程服務(wù)器進(jìn)行文件或目錄的拷貝
跟 cp 很類似,區(qū)別在于一個(gè)僅在本機(jī)間拷貝,一個(gè)是多機(jī)子間的拷貝
語(yǔ)法
usage: scp [-12346BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file]
[-l limit] [-o ssh_option] [-P port] [-S program]
[[user@]host1:]file1 ... [[user@]host2:]file2
# 簡(jiǎn)易寫法
scp [可選參數(shù)] file_source file_target
比較重要的也就是最后的 [[user@]host]file,可以指定連接遠(yuǎn)程的用戶,ip,不指定時(shí),將在命令執(zhí)行時(shí),手動(dòng)輸入
常用參數(shù)說(shuō)明
-p:保留原文件的修改時(shí)間,訪問(wèn)時(shí)間和訪問(wèn)權(quán)限。
-r: 遞歸復(fù)制整個(gè)目錄。
-v:詳細(xì)方式顯示輸出。scp和ssh(1)會(huì)顯示出整個(gè)過(guò)程的調(diào)試信息。這些信息用于調(diào)試連接,驗(yàn)證和配置問(wèn)題。
-P:注意是大寫的P, port是指定數(shù)據(jù)傳輸用到的端口號(hào)
實(shí)例
- 從本地復(fù)制到遠(yuǎn)程
# 將本地多個(gè)文件復(fù)制到遠(yuǎn)程 target 目錄下,多個(gè)文件間以空格隔開(kāi)
scp -P 5432 -p xxx.jar xxx1.jar root@ip:target
# 將本地文件 1.mp3 拷貝到遠(yuǎn)程服務(wù)器上的 001.mp3 文件里
scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music/001.mp3
- 從遠(yuǎn)程拷貝到本地
# 將遠(yuǎn)程目錄拷貝到當(dāng)前目錄下
scp -r root@192.16.1.108:/var/www/blog .
當(dāng)沒(méi)有指定用戶名時(shí),命令輸入完畢需要手動(dòng)輸入用戶名和密碼,指定了用戶名后,需要輸入密碼
密碼的輸入可以借助 expect 來(lái)實(shí)現(xiàn)自動(dòng)交互
當(dāng)然,也可以通過(guò) -B,以及其他參數(shù)來(lái)指定 ssh 連接的配置文件,實(shí)現(xiàn)無(wú)密碼方式拷貝,相關(guān)信息,自行查閱
sz, rz
如果是借助 XShell 工具連接上遠(yuǎn)程服務(wù)器后,那么可借助 sz, rz 命令來(lái)下載和上傳文件
但如果遠(yuǎn)程服務(wù)器沒(méi)有這兩個(gè)命令的話,需要先進(jìn)行安裝:
安裝
# CentOs 安裝
yum -y install lrzsz
# Ubuntu 安裝
sudo apt-get install lrzsz
使用
sz xxx.file
rz
下載文件的話,需要指定下載哪個(gè)文件,上傳則不用,因?yàn)闀?huì)打開(kāi)文件選擇彈框,選中即可
sftp
也是一個(gè)用來(lái)跟遠(yuǎn)程服務(wù)器上的文件進(jìn)行下載、上傳的命令
sz,rz 通常是本機(jī)上裝了個(gè) XShell 工具,然后用于兩機(jī)之間的文件通信
但有時(shí)候,是需要在遠(yuǎn)程多個(gè)服務(wù)器之間進(jìn)行文件通信,這時(shí)候就用不了 XShell,也就用不了 sz, rz 命令了
這種場(chǎng)景,可以使用 scp 命令,也可以使用 sftp 命令
使用
# 先連接,端口跟 ssh 一致
sftp -P 22 root@ip
# help 命令,可以查看 sftp 支持的命令,比如 ls,lls,cd,lcd...
help
# 所有命令前加 l,表示針對(duì)本機(jī)的操作,不加 l 表示針對(duì)遠(yuǎn)程服務(wù)器的操作
# 本機(jī)進(jìn)入 tmp 目錄
lcd /tmp/
# 下載遠(yuǎn)程文件到當(dāng)前目錄下
get /usr/local/xxx.file
# 上傳當(dāng)前目錄下的文件到遠(yuǎn)程指定目錄下
put xxx.file /usr/local/
有一點(diǎn)需要注意,如果本機(jī)是 window 系統(tǒng),那么在 window 系統(tǒng)和 linux 系統(tǒng)之間是有 sftp 傳輸文件時(shí),由于文件系統(tǒng)的分隔符不一樣,在操作 lcd 命令時(shí),可能會(huì)有問(wèn)題,此時(shí),可以直接輸入 lcd,然后會(huì)彈窗文件選擇框,選中路徑后按確定即可,比較方便
tail
通常用來(lái)實(shí)時(shí)查看日志文件:
tail -f xxx.log
這樣,只要有新日志寫入,會(huì)馬上在終端上輸出,就可以不用每次都把文件下載下來(lái)了
實(shí)例-jenkins 構(gòu)建 spring-boot 項(xiàng)目并部署遠(yuǎn)程服務(wù)器上
場(chǎng)景是這樣的,本地開(kāi)發(fā)后端 spring-boot 項(xiàng)目,然后有一臺(tái)專門的 jenkins 服務(wù)器,自動(dòng)或手動(dòng)觸發(fā)構(gòu)建
jenkins 構(gòu)建時(shí),會(huì)自動(dòng)去拉取代碼,然后執(zhí)行 package.sh 打包腳本,生成 jar 包
再然后,執(zhí)行 deploy.sh 腳本,將 jar 發(fā)送到另一臺(tái)項(xiàng)目運(yùn)行的服務(wù)器上,先停止舊項(xiàng)目的執(zhí)行,然后移除舊 jar 包,執(zhí)行新 jar 包,啟動(dòng)后端項(xiàng)目
package.sh
打包腳本
#!/bin/sh
# 打包的渠道由外部傳入
environment=$1
basedir=`pwd`
# 先將舊的打包文件刪除, -d 表示判斷 target 是否是目錄
if [ -d "target" ]; then
rm -rf $basedir/target
fi
mkdir target
# 定義 mvn 打包的函數(shù)
package()
{
# mvn packgae打包
(mvn clean packge -P $environment)
# 如果 mvn 命令執(zhí)行異常,將會(huì)返回非0,終止腳本,異常退出
if [ $? -ne 0 ]; then
exit 1
fi
}
# 進(jìn)入項(xiàng)目根目錄,執(zhí)行打包工作
cd $basedir/app
package
exit 0
deploy.sh
部署腳本
#!/usr/bin/expect
# 將傳給腳本的參數(shù)賦值給變量
set ip [lindex $argv 0]
set port [lindex $argv 1]
set user [lindex $argv 2]
set password [lindex $argv 3]
set targetDir [lindex $argv 4]
# 先另起進(jìn)程,用 scp 命令,將打包好的 jar 包發(fā)送到項(xiàng)目運(yùn)行的服務(wù)器上
spawn scp -P $port target/xxx.jar $user@$ip:$targetDir
# 用 expect 解決 scp 需要輸入命令的交互,實(shí)現(xiàn)自動(dòng)化
expect {
"yes/no" {
send "yes\n"
exp_continue
}
"password" {
send "$password\n"
}
}
# jar 發(fā)送完畢就退出子進(jìn)程,返回主進(jìn)程,繼續(xù)處理往下命令
expect eof
# 另起進(jìn)程執(zhí)行 ssh 連接項(xiàng)目運(yùn)行的服務(wù)器
spawn ssh -p $port -o "StrictHostKeyChecking no" $user@$ip
# 用 expect 解決 ssh 需要輸入命令的交互,實(shí)現(xiàn)自動(dòng)化
expect {
"password" {
send "$password\n"
}
}
# 登錄成功,則發(fā)送需要在遠(yuǎn)程服務(wù)器上執(zhí)行的命令
expect "login"
# 包括,停止舊項(xiàng)目,執(zhí)行新項(xiàng)目
send "
# 進(jìn)入 jar 包存放目錄
cd xxx
# 停止運(yùn)行
kill -9 `ps aux|grep 'xxx.jar'|grep -v grep|awk '{print $2}'`
# 備份
cp xxx.jar xxx.jar.bak
# 移新包
mv $targetDir/xxx.jar xxx
# 啟動(dòng)項(xiàng)目
su - www -c "nohup java -jar xxx.jar &"
sleep 10s
exit 0
"
expect eof
exit 0
jenkins - 構(gòu)建 shell
jenkins 配置里的構(gòu)建 shell 命令
#!/bin/sh
source /etc/profile
# 先執(zhí)行打包腳本,指定打包的渠道
sh jenkins/package.sh online
# 如果打包失敗,終止
if [ $? -ne 0 ]; then
exit 1
fi
# 執(zhí)行部署腳本,指定項(xiàng)目運(yùn)行的服務(wù)器的連接端口號(hào),ip,登錄用戶,密碼,移包路徑
/usr/bin/expect jenkins/deploy.sh "127.0.0.1" "22" "root" "xxxx" "/temp/"