摘要

MLSQL依賴于Spark，而且算法模塊依賴于conda來管理python包。本文將介紹如何用docker快速搭建mlsql的運(yùn)行環(huán)境。

快速啟動(dòng)

運(yùn)行docker命令

我們可以直接采用下列命令啟動(dòng)一個(gè)mlsql服務(wù)。

docker run -d --name mlsql-server -p 9003:9003 mlsql/mlsql-solo:1.1.4_spark-2.3.2 /app/streamingpro/start-local.sh

NOTE: 后續(xù)我們的release版本都會(huì)發(fā)布到hub.docker.com

訪問服務(wù)

我們可以訪問http://localhost:9003/#/頁面來訪問服務(wù)。

MLSQL運(yùn)行頁面

如果需要查看日志，請運(yùn)行：

docker logs -f mlsql-server

構(gòu)建最新鏡像

公網(wǎng)倉庫我們只會(huì)發(fā)布release版本的服務(wù)鏡像，接下來我們將介紹如何發(fā)布最新版本的docker鏡像。

環(huán)境準(zhǔn)備

• docker
• java
• maven

構(gòu)建最新mlsql運(yùn)行環(huán)境

下載mlsql工程

git clone https://github.com/allwefantasy/streamingpro.git
cd streamingpro

構(gòu)建鏡像

進(jìn)入工程目錄，運(yùn)行docker鏡像構(gòu)建命令。

docker build -t mlsql-base:v1 dev/docker

或者直接從hub.docker.com拉取

docker pull mlsql/mlsql-base

查看鏡像。

 docker images | grep mlsql

REPOSITORY                                                   TAG                 IMAGE ID            CREATED             SIZE
mlsql-base                                                   v1                  9fdd4bd7c470        2 weeks ago         813MB

打包mlsql項(xiàng)目

以1.1.4版本為例，我們將mlsql工程打包成可執(zhí)行的tgz包。

切換到1.1.4版本

gco v1.1.4

maven打包

mvn -DskipTests clean package \
-Pspark-2.3.0 \
-Pstreamingpro-spark-2.3.0-adaptor \
-Ponline \
-Pscala-2.11 \
-Pdsl \
-Passembly \
-Pcrawler \
-Phive-thrift-server \
-Pautoml \
-Pxgboost \
-Pcarbondata

啟動(dòng)服務(wù)

docker run -it -v ${PWD}:/app -p 9003:9003 mlsql/mlsql-base:v1 /app/streamingpro/start-local.sh

Enjoy??