工具選型

image.png

一期使用FTP，由于Jfrog企業(yè)版收費(fèi)，F(xiàn)TP目前已完全滿足需求。

架構(gòu)設(shè)計

image.png

目前Jenkins服務(wù)由一個Matser和一個Agent組成。
Jenkins Agent1 同時作為SaltStack Master角色。

流程圖

image.png

jenkins調(diào)用SaltStack
jenkins調(diào)用SaltStack腳本，需傳入3個參數(shù)：

SaltStack ID：匹配部署目標(biāo)機(jī)器，可正則匹配。

SaltStack腳本編號：SaltStack為每一個服務(wù)編寫唯一腳本，并分配一個編號，ftp路徑寫在目錄中。

版本標(biāo)簽：與ftp包匹配，jenkins觸發(fā)CI/CD時傳入版本標(biāo)簽變量。

在Agent1上執(zhí)行SaltStack腳本執(zhí)行自動化部署動作。

回滾：可直接指定版本標(biāo)簽觸發(fā)自動化部署。

發(fā)布目錄存儲規(guī)范

選擇FTP存儲，后續(xù)如果有好的版本包管理工具，再行評估。

{版本標(biāo)簽}.zip 內(nèi)無需嵌套文件夾，直接放置程序文件即可。

jenkins/dev/{服務(wù)標(biāo)準(zhǔn)命名}/{版本標(biāo)簽}.zip

Pipeline流水線設(shè)計

Jenkins提交流水線示例

import groovy.json.JsonSlurper
node('agent') {
 try 
 { 

   stage('拉取代碼') { 
    git branch: '$branch', credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git'
   }

gitlabBuilds(builds: ["編譯打包", "質(zhì)量掃描"]) {
gitlabCommitStatus(name:"編譯打包") {
    
  stage('編譯打包') {
    sh 'gradle sparkDeployZip'
  }
}

 gitlabCommitStatus(name:"質(zhì)量掃描") {
     
  stage('質(zhì)量掃描') {
    echo '質(zhì)量掃描'
    // SonarQubeServer為系統(tǒng)配置的SonarQube servers的名稱
    withSonarQubeEnv('SonarQube') {
        sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8  -Dsonar.sources=./ -Dsonar.java.binaries=./'
    
    }
     
    script {
            timeout(5) { 
                    //單位，分鐘，利用sonar webhook功能通知pipeline代碼檢測結(jié)果，未通過質(zhì)量閾，pipeline將會fail
                println('等待代碼分析，sonar平臺地址=http://10.66.221.187:9000')
                
                def qg = waitForQualityGate() 
                println('qg.status: ' + qg.status)
                    if (qg.status != 'OK') {
                         error "未通過Sonarqube的代碼質(zhì)量閾檢查，請及時修改！failure: ${qg.status}"
                    }
            }
    }

  }
  
 }
}
   
   } 
    catch (err)
    {
        stage('失敗通知')
        {
            mail to: 'lubing@yutong.com,mapfd@yutong.com',subject: "【DevOps通知】Jenkins流水線任務(wù)-${JOB_NAME}-(${BUILD_NUMBER})，執(zhí)行失敗",body: "請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果！"
  
        }
        throw err
    }

}

Jenkins驗(yàn)收流水線示例

import groovy.json.JsonSlurper
timestamps {
node('agent') {
    
    try
    {
   stage('拉取代碼') { 

    checkout([$class: 'GitSCM', branches: [[name: '${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git']]])
   }
    }

  stage('編譯打包') {
    echo '編譯打包'
    sh 'gradle sparkDeployZip'
  }
  
   stage('單元測試') {
    echo '單元測試'
  }
  
  /*
  stage('質(zhì)量掃描') {
    echo '質(zhì)量掃描'
    // SonarQubeServer為系統(tǒng)配置的SonarQube servers的名稱
    withSonarQubeEnv('SonarQube') {
         sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8 -Dsonar.sources=./ -Dsonar.java.binaries=./'
     }
     
    script {
            timeout(5) { 
                    //單位，分鐘，利用sonar webhook功能通知pipeline代碼檢測結(jié)果，未通過質(zhì)量閾，pipeline將會fail
                println('等待代碼分析，sonar平臺地址=http://10.66.221.187:9000')
                
                def qg = waitForQualityGate() 
                println('qg.status: ' + qg.status)
                    if (qg.status != 'OK') {
                         error "未通過Sonarqube的代碼質(zhì)量閾檢查，請及時修改！failure: ${qg.status}"
                    }
            }
    }

  }
  */
  
   def file_md5 = ''; 
   stage('上傳制品庫') {
    echo '移動制品文件'
    sh 'rm -rf ${WORKSPACE}/ftp_upload'
    sh 'mkdir -p ${WORKSPACE}/ftp_upload'
    sh 'cp ${WORKSPACE}/deploy/gemini.zip ${WORKSPACE}/ftp_upload/${branch}.zip'
    echo '讀取md5'
    sh 'md5sum ${WORKSPACE}/ftp_upload/${branch}.zip |cut -d " " -f1  > md5.txt'
    file_md5 = readFile('md5.txt').trim()
    echo "md5: ${file_md5}"
    echo '上傳FTP'
    ftpPublisher alwaysPublishFromMaster: false, continueOnError: false, failOnError: false, publishers: [[configName: 'TEST_FTP', transfers: [[asciiMode: false, cleanRemote: false, excludes: '', flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '/jenkins/test/gemini/', remoteDirectorySDF: false, removePrefix: 'ftp_upload', sourceFiles: 'ftp_upload/']], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false]]
   }
   
  stage('自動部署') {
     echo '自動部署'
     sh 'salt -N gemini_test state.sls saltenv=test pillar="{ zip_name: ${branch}.zip }" sls.gemini_update'
  }
  
   
   stage('發(fā)出通知') {
    echo '發(fā)出通知'
    echo "制品庫版本：${branch}, 制品文件包md5：${file_md5},  請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果！"
    mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水線任務(wù)-${JOB_NAME}-(${BUILD_NUMBER})，執(zhí)行成功",body: "制品庫版本：${branch}, 制品文件包md5：${file_md5},  請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果！"
   }
   
} 
    catch (err)
    {
         stage('失敗通知')
        {
            mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水線任務(wù)-${JOB_NAME}-(${BUILD_NUMBER})，執(zhí)行失敗",body: "請訪問 ${BUILD_URL} 查看執(zhí)行結(jié)果！"
  
        }
        throw err
    }
    finally
    {

    }
}
}

Salt自動部署腳本

sls腳本

script腳本