[TOC]
經(jīng)常在開發(fā)的時候,測試/產(chǎn)品/運營等人員會來要求安裝一下軟件,這時候不得不停下手中的事情來打包安裝,但終歸不是長久之計:
- 自己開發(fā)時被經(jīng)常打斷思路;
- 停下來手頭的工作來打包,每次怎么也得浪費個幾分鐘,長期下來不劃算;
- 開發(fā)中的代碼經(jīng)常不是穩(wěn)定或者未經(jīng)過自測的代碼,冒然給人安裝總是容易發(fā)生問題,徒增bug;
作為一個 '懶人' ,這種重復(fù)性的工作腫么能每次都自己動手呢,另外最好再有個地方能提供穩(wěn)定分支代碼的安裝包供人下載安裝,省得有人說不會安裝apk ==!...
話說前公司就提供有自動打包功能,以前不覺得有什么,等到?jīng)]有的時候才發(fā)覺它的好...無奈,只能自己動手搭一套;

P.S. jenkins會去gitlab倉庫中讀取最新的分支代碼到本地,具體地址也就是其環(huán)境變量
WORKSPACE 指代的位置;
基于:
系統(tǒng): mac 10.12.4(Sierra)
Jenkins: 2.46.1
Git: 2.10.0
Python: 3.x
Jenkins的基本使用
安裝運行Jenkins
- 到 官網(wǎng) 下載軟件,應(yīng)該是一個
jenkins.war單文件; - 運行:
// 方式1: 假如系統(tǒng)中安裝有Tomcat,就把它當做普通的war包放置到 webapps/ 下運行即可;
// 方式2: (假設(shè) jenkins.war 放置在 ~/Downloads/ 目錄下)
cd ~/Downloads/
nohup java -jar jenkins.war & // 后臺運行jenkins.war程序,默認使用8080端口
// 指定端口
--httpPort=8080 // 用來設(shè)置jenkins運行時的web端口,避免沖突
- 安裝運行成功后在瀏覽器中打開
localhost:8080(端口號請按需修改),第一次會要求輸入賬號密碼,jenkins提供了一個初始密碼,可以根據(jù)頁面提示在文件initialAdminPassword中獲取:
sudo cat /Users/***/initialAdminPassword // 提示路徑可能不同,根據(jù)頁面提示修改

- 初始化后就會彈出添加賬號的界面,按需設(shè)置一個新的賬號密碼,也可以后續(xù)在 Manage Users 中進行創(chuàng)建或修改;
- 登錄成功后會有個安裝插件提示頁面,選擇
Install suggested plugins:
安裝插件
后續(xù)也可在 jenkins首頁 -
Manage Jenkins-Manage Plugins中安裝插件,主要是Gradle PluginAndroid Signing PluginGit Parameter Plug-InGitHub Authentication pluginGitlab Authentication pluginGit plugin等
- 安裝完重啟就可以在首頁添加任務(wù)
New Item,添加完成后會在右側(cè)顯示已添加的 job 列表:
new item
初始化配置
開始打包發(fā)布Android應(yīng)用前需要進行如下環(huán)境的設(shè)置:Android/Git/Gradle/Python等
指定ANDROID_HOME全局變量
==! 不知道咋回事,沒有識別到我配置在
~/.bash_profile中的ANDROID_HOME環(huán)境變量,最后折騰了好久才發(fā)現(xiàn)要在jenkins中手動指定一個
在 Manage Jenkins - Configure System - Global properties 勾選 Environment variables ,并添加一個:
Name : ANDROID_HOME
Value : /Users/***/Applications/AndroidSDK

配置JDK/Git/Gradle
在 Manage Jenkins - global tool configuration 中按需選擇工具 , name 隨意指定,其他的參考下圖:
// 配置JDK主目錄
name: MAC_JDK
path: /Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home
// 配置Git運行路徑
name: Default
path: /usr/bin/git
// 配置Gradle主目錄
name: gradle3.5
path: /Users/lynxz/.sdkman/candidates/gradle/current/bin
// 注意: 在 `gradle /current/bin/bin`中需存在 `gradle` 可執(zhí)行文件;
// 備注: 我之前是使用 `sdkman` 來安裝的 `gradle` ,所以路徑比較奇怪
curl -s https://get.sdkman.io | bash
sdk install gradle 3.5

創(chuàng)建和配置job
- 在jenkins首頁左側(cè)導(dǎo)航欄中點擊
new item, 輸入名稱, 選擇Freestyle project,點擊ok按鈕即可; - 創(chuàng)建完成后,在首頁右側(cè)的 Job 列表中選擇剛才創(chuàng)建的job,然后選擇
Configure進行配置; - 在
General中按需輸入project name和Description;
另外,這個tab頁面中比較常用的還有參數(shù)化設(shè)置(This project is parameterized), 后續(xù)會講到; - 在
Source Code Management中指定版本管理類型/倉庫地址/認證信息等;
Source Code Management - 在
Build中選擇Invoke Gradle Script,在Gradle Version下拉列表中選擇自定義的本機Gradle版本;并在Tasks中輸入打包命令:
// 默認未做多渠道多版本配置時,打包release類型的命令:
clean assembleRelease --stacktrace --debug
如果有需要將 general 標簽也中定義的變量注入到項目中讓 gradle 腳本使用,則請勾選 Pass job parameters as Gradle properties ,則gradle腳本中用到的同名自定義變量就會使用jenkins中指定的值;

參數(shù)化構(gòu)建
有時候需要在構(gòu)建的時候進行一些定制化操作,比如指定編譯的代碼分支,增加打包版本說明等,又或者項目中使用了私有倉庫,而倉庫的登錄賬號名(如mavenUser)以及密碼(mavenPassword)存儲于 gradle.properties (不同步到gitlab倉庫中),這時就需要添加參數(shù),并將該參數(shù)注入到Android項目中了,以便gradle腳本能獲取到正確的值,具體操作如下:
- 在job頁面的
Configure-General面板中勾選This project is parameterized; - 在
Add Parameter下拉列表中就可以選擇對應(yīng)的類型變量
參數(shù)化構(gòu)建
注意: 若參數(shù)需要注入到Android項目構(gòu)建腳本中,則需要勾選 configure - Build - Pass job parameters as Gradle properties ;
- 比如選擇添加一個
String Parameter
String Parameter - 比如增加一個
Choice Parameter,用于指定要打包的版本:
Choice Parameter
圖中指定的三個choice是我在Android項目app/build.gradle中定義過的,用于后續(xù)的打包命令:
android{
buildTypes {
release {
signingConfig signingConfigs.release
}
//不能以"test"開頭
tstEnv {
debuggable true
signingConfig signingConfigs.release
}
debug {
versionNameSuffix "-dev"
debuggable true
signingConfig signingConfigs.release
}
}
}

上面指定的 choice parameter 類型參數(shù) buildTypes 便可用在 Build 命令中:

簽名
還沒去研究過jenkins簽名插件,一般直接在Android項目中配置好腳本即可:
- 將簽名文件
*.jks放置于app/目錄下; - 在
app/build.gradle中配置簽名參數(shù),這樣jenkins打包出來的apk就是簽名過的:
android{
signingConfigs {
release {
keyAlias '***'
keyPassword '***'
storeFile file('*.jks')
storePassword '***'
}
}
buildTypes {
release {
signingConfig signingConfigs.release
}
debug {
signingConfig signingConfigs.release
}
}
}
P.S. 不過總覺得這樣直接公開簽名文件到倉庫中不太好,在打包服務(wù)器上進行控制會更合適點,畢竟知曉的人更少,這個后續(xù)再研究,先占個位;
獲取當前用戶的名稱等信息
- 需要安裝插件
user build vars plugin,可在插件列表中直接獲取安裝 或者到 這里 下載插件包; - 安裝后等待jenkins重啟,并找到
job-configure-Build Environment-Set jenkins user build variables,勾選此項后才生效; - 在 shell 中便可像jenkins自帶的變量那樣使用,如
echo "$BUILD_USER":
| 插件可用的變量名 | 變量描述 |
|---|---|
| BUILD_USER | Full name (first name + last name) |
| BUILD_USER_FIRST_NAME | First name |
| BUILD_USER_LAST_NAME | Last name |
| BUILD_USER_ID | Jenkins user ID |
| BUILD_USER_EMAIL | Email address |
Build History 定制
默認的job構(gòu)建歷史命名( 如 #3?5 Apr 27, 2017 11:15 AM )不容易理解記憶,我們可以自定義,加入構(gòu)建者姓名,版本等信息;
定制包括"build name" 和 "build description" 兩部分的定制,效果如下

構(gòu)建名稱定制
- 下載 Build Name Setter Plugin 插件;
- 手動安裝:
manage jenkins-manage plugins-Advanced在upload plugin中選擇剛才下載的插件,提交后重啟jenkins即可; - 選擇一個 job 進入
Configure-Build Environment,就會多出一個Set Build Name復(fù)選項,勾選后即可定制;
定制build名稱
構(gòu)建描述定制
安裝插件
description setter plugin(可以在jenkins的manage plugins中找到);-
重啟jenkins后,進入 job 的
Configure-post-build Actions,選擇Add post-build action-set build description即可定制;
Add post-build action -
為了顯示蒲公英的二維碼圖片,需要先在
manage jenkins-Configure global security,找到Markup Formatter,將默認的plain text改為safe html;
safe html 在 job -
configure-post-build actions-set build description中就可以輸入html標簽了,比如我設(shè)置了:
// 這里的${pgyerNotes}是我在general中添加的參數(shù)
<p>${pgyerNotes}</p><br/><br/><a >Download Directly</a>
構(gòu)建完成后打包記錄并顯示在 job 首頁面,便于下載
- 進入 job -
Configure-Post-Build Actions - 在
Add post-build action列表中選擇Archive the artifacts輸入要存檔的文件路徑,可使用通配符,比如我輸入的是app/build/outputs/apk/Sb*.apk,就會在job項目首頁看到存檔記錄,可以直接下載;
Archive the artifacts
注意:這里不能使用${WORKSPACE}等變量,貌似就是直接以當前工作空間為根目錄的;</br>
效果
使用shell上傳apk到蒲公英
請首先到 蒲公英 上注冊賬號,并認證,若不認證則上傳失敗;
蒲公英上傳文件接口
蒲公英的key值可在 賬戶設(shè)置 - API信息 中查看到
由于我是mac系統(tǒng),因此在 Job - Configure - Build - Add build step 列表中選擇 Execute shell,運行shell腳本
P.S. 若是對shell不熟悉,可參考 教程
另外,由于我在項目中根據(jù)版本號(vesionName)重命名了生成的apk,因此需要在shell腳本中提取版本號以便獲得apk全稱,進而上傳蒲公英


# build -> Add build step -> Execute shell
pgyerApiKey="******"
pgyerUKey=="******"
echo "獲取apk版本號..."
# ${WORKSPACE} 是jenkins提供的環(huán)境變量,表示當前項目跟目錄路徑
# 下面的命令是獲取 app/build.gradle 的第17行內(nèi)容,然后按照雙引號進行切換,提取第2部分內(nèi)容,即上面圖示中的 1.1.4
versionName=`sed -n '17p' ${WORKSPACE}/app/build.gradle | cut -d \" -f 2`
echo "獲取apk所在路徑..."
# _360 是項目中定義了多渠道,但由于之前在 Build - Task 中設(shè)置的打包命令,直接指定了渠道號,因此這里也直接固定寫好就可以;
apkAbsPath="${WORKSPACE}/app/build/outputs/apk/SonicMoving_${buildTypes}_[_360]_v${versionName}.apk"
echo "上傳apk到蒲公英進行發(fā)布..."
response=$(curl -F "file=@${apkAbsPath}" -F "uKey=${pgyerUKey}" -F "_api_key=${pgyerApiKey}" https://qiniu-storage.pgyer.com/apiv1/app/upload)
echo "上傳結(jié)束"
# 原本上傳結(jié)束后想要使用 jq 工具 (`brew install jq`) 對蒲公英上傳時返回的response進行json處理的,結(jié)果在電腦的shell中測試可行,但寫到這里就一直不成功,無奈,只好放棄
# 提取蒲公英返回的json數(shù)據(jù)中的 appShortcutUrl 字段值,可拼接成下載地址
#responseCode=$(echo -E "${response}" | jq .code)
#if [ $((responseCode)) == 0 ]
#then
# echo "上傳結(jié)束,處理返回相應(yīng)..."
# appShortcutUrl=$(echo -E "${response}" | jq ".data.appShortcutUrl" | cut -d \" -f 2)
# apkOnlineUrl="https://www.pgyer.com/${appShortcutUrl}"
#else
# echo "上傳失敗,返回碼為: ${responseCode} ,具體請看日志"
#fi

使用python上傳apk到蒲公英
最早之前我也是嘗試直接使用python插件的,操作如下:
- 安裝
Python Plugin; - 在 job 的
Configure-Build中就會多一個選項Execute python script;
import os
# 獲取jenkins變量 'BUILD_NUMBER'
print("build_number is ==> ",os.getenv("BUILD_NUMBER"))
但是由于我是mac,系統(tǒng)中默認的python是2.7.x,而我又裝了其他版本的python,雖然在jenkins的全局變量中指定了python版本,但實際執(zhí)行的時候卻用的不是它,大致的錯誤如下:

可以發(fā)現(xiàn)jenkins把我們寫在
python script 中的生成了一份位于 /var/.../*.py 的文件,然后使用系統(tǒng)默認的 python 版本來執(zhí)行,而我 mac 默認的python是python2.7.*,導(dǎo)致里面寫的很多基于python3.x的代碼出錯:
解決方案
使用python多版本問題的常用方法 virtualenv,最后演變成通過shell來啟用版本隔離,然后手動調(diào)用python命令加載腳本:
在 Build - add build step - execute shell 中寫入如下腳本:
# 如果當前無指定的環(huán)境目錄存在,則創(chuàng)建,并指定python版本
if [ ! -d ".env" ]; then
virtualenv -p /usr/local/bin/python3 .env
fi
# 啟動virtualenv
source .env/bin/activate
echo "當前操作的用戶是 : $BUILD_USER "
#requestsLibName="requests"
#isInstallRequest=$(pip freeze | grep $requestsLibName)
#if [[ $isInstallRequest =~ "*requests*" ]];then
# pip install requests
#fi
# 安裝所需要的第三方庫,若已安裝,則不會重新安裝
pip install requests
# 運行指定路徑下的python腳本
python3 ~/Desktop/upload.py
上面shell腳本中的 upload.py 內(nèi)容如下(可考慮將其放在Android項目中,上傳gitlab):
#!/usr/local/bin/python3.5
# -*- coding: utf-8 -*-
'''
jenkins 打包線上代碼生成apk后發(fā)布到蒲公英
本腳本路徑: ~/Desktop/upload.py
'''
import os
import io
import re
import requests
import json
WORKSPACE = os.getenv("WORKSPACE") # 獲取jenkins環(huán)境變量
userName = os.getenv("BUILD_USER") # 獲取用戶名
buildTypes = os.getenv("buildTypes") # 獲取用戶選擇的編譯版本
pgyerNotes = os.getenv("pgyerNotes") # 獲取用戶填寫的版本說明
# 重置默認編碼為utf8
import sys
default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
reload(sys)
sys.setdefaultencoding(default_encoding)
# 確認下當前python版本
print("當前編譯器版本: %s " % sys.version)
print("python編譯器詳細信息: ", sys.version_info)
# 獲取版本號
# guild.gralde文件所在路徑
buildGradleFilePath = "%s/app/build.gradle" % (WORKSPACE) # 指定文件所在的路徑
print("build.gradle路徑是: ", buildGradleFilePath)
# 讀取build.gradle并獲取versionName值
with open(buildGradleFilePath, 'r', encoding='utf-8') as buildGradleFile:
line = buildGradleFile.readlines()[16:17][0] # 讀取第17行數(shù)據(jù), 切片從0開始;
print("line 17 is .... ", line)
versionName = re.split(r'\"', line)[1]
print("版本號為: %s" % versionName)
# "獲取apk所在路徑..."
apkAbsPath = "%s/app/build/outputs/apk/SonicMoving_%s_[_360]_v%s.apk" % (WORKSPACE, buildTypes, versionName)
print("準備上傳apk到蒲公英進行發(fā)布,apk所在路徑為: %s" % apkAbsPath)
# 上傳結(jié)束后發(fā)出請求通知服務(wù)端,進而由服務(wù)端發(fā)送釘釘消息
def notify_upload_result(msg):
headers = {'user-agent': 'jenkins_upload_pgyer'}
params = {'userName': userName, 'msg': msg} # 字段中值為None的字段不會被添加到url中
response = requests.get('http://btcserver.site:8080/WebHookServer_war', params=params, headers=headers)
#response = requests.get('http://localhost:8081', params=params, headers=headers)
print("通知webhook服務(wù)器結(jié)果: ", response.text)
# 蒲公英賬號信息
pgyerApiKey = "******"
pgyerUKey = "******"
# response=$(curl -F "file=@${apkAbsPath}" -F "uKey=${pgyerUKey}" -F "_api_key=${pgyerApiKey}" -F "updateDescription=${pgyerNotes}" https://qiniu-storage.pgyer.com/apiv1/app/upload | jq .)
# post請求中所需攜帶的信息
data = {
'_api_key': pgyerApiKey,
'uKey': pgyerUKey,
'updateDescription': pgyerNotes
}
files = {'file': open(apkAbsPath, 'rb')}
uploadUrl = 'https://qiniu-storage.pgyer.com/apiv1/app/upload'
response = requests.post(uploadUrl, data=data, files=files)
print(response.status_code, response.text)
if response.status_code == 200:
print("上傳成功,通知webhook服務(wù)器...")
notify_upload_result(response.text)
else:
print("上傳失敗,狀態(tài)碼為: %s" % (response.status_code))
蒲公英發(fā)布成功后通知釘釘
參考 打通Gitlab與釘釘之間的通訊
這里有兩種方式通知服務(wù)器后臺:
-
使用蒲公英項目中自帶的webhook功能,但是這個通知無法具體得知是誰進行的這次打包發(fā)布,并且若上傳蒲公英失敗的話也不會進行webhook通知,因此不太方便:
蒲公英webhook設(shè)置 - 如上面python腳本中寫那樣,在上傳返回后,主動調(diào)用服務(wù)器接口,將response和jenkins相關(guān)信息上傳,然后后臺有針對性的發(fā)送消息;
碰到的異常
1. Failed to connect to repository : Command "git ls-remote -h https://git.***.git HEAD" returned status code 143:
需要在倉庫中添加公鑰;
//獲取公鑰
ssh-keygen -t rsa -f ~/.ssh/id_rsa.pub
測試時用的是 coding.net , 因此在 coding.net 對應(yīng)項目的 設(shè)置 - 部署公鑰 - 新建部署公鑰 將剛才輸出的公鑰粘貼進去即可;
2. token-macro v1.5.1 is missing. To fix, install v1.5.1 or later
token-macro-plugin
到插件管理頁面中搜索 Token Macro Plugin 安裝即可;











