背景:
? ? 公司老集群升級( CHD5升級到CDH6),集群資源重新分配。原來本人負(fù)責(zé)的提數(shù)任務(wù)(jupyter是提數(shù)使用的工具),需要另在一臺機器安裝jupyter并搭建jupyter運行環(huán)境,以下為整個流程的詳細(xì)記錄,如有更方便、易行的辦法,歡迎討論。
? ? 1.jupyter一直掛載在老機器后臺,查看jupyter掛載進程:ps -ef | grep jupyter

? ? 2.conda env list? 查看列表中的所有運行環(huán)境,并且找到j(luò)upyter的運行環(huán)境。

3.在對應(yīng)環(huán)境目錄下找到依賴包信息,一般都在環(huán)境目錄下:requirement.txt


4.在要遷移的機器上創(chuàng)建對應(yīng)環(huán)境并指定一致的python版本(需要在老機器上切換到j(luò)upyter的對應(yīng)運行環(huán)境并查看對應(yīng)python版本): conda create -n 虛擬環(huán)境名稱 python=2.7?

5.在新創(chuàng)建的環(huán)境下創(chuàng)建依賴包信息文件:vi xxxx.txt 。將原環(huán)境下的依賴包信息copy到該文件下 :wq 保存并退出。
????使用pip install -r xxxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple?
? ? -i-指定鏡像地址采用的是清華鏡像? ??
????若有安裝依賴報錯信息(極大原因是版本過舊),百度找到對應(yīng)可用版本,修改xxxx.txt依賴包信息,直至安裝成功。這種辦法不能保證依賴包版本完全一致,如何跨機器 進行完全一致的環(huán)境遷移也是困擾我的問題,有了解的朋友,請指教。
6.Linux服務(wù)器上配置Jupyter并在后臺運行
https://blog.csdn.net/qq_41699621/article/details/103064684

上圖是之前老機器上 采用的json文件格式生成的jupyter配置文件,這部分是為了本人回溯問題。
大家參考上面貼的博主連接,采用其二、三、四步驟
采用.py文件的格式生成的jupyter配置文件就可以,親測可行。
執(zhí)行到第七步:
? ? 按照上面的鏈接的掛載操作,會將home目錄暴露出來。所以在服務(wù)器后臺掛載jupyter 進程時,可以將指定目錄作為jupyter web端啟動后的默認(rèn)目錄(避免了jupyter啟動后的web端的操作者 對home目錄 有風(fēng)險操作),并可以指定log存放的地址

附加:查到要kill掉的進程PID,然后kill 進程的pid number:kill xxx
7.瀏覽器輸入遷移的機器 host:端口號? 測試jupyter是否搭建成功!