GoogleCloudPlatform/spark-on-k8s-operator 使用記錄

官方github地址

Design and Architecture

Quick Start Guide


如何安裝helm


問題1:helm install incubator/sparkoperator --namespace spark-operator? 訪問不了google

gcr.io/spark-operator/spark-operator:v2.4.0-v1alpha1-latest 鏡像imagepullbackoff下載失敗解決方案

1.注冊阿里云進(jìn)入控制臺(tái) 搜索容器鏡像服務(wù)

2.在容器服務(wù)中創(chuàng)建命名空間 創(chuàng)建鏡像倉庫

3.github 創(chuàng)建倉庫只包含一個(gè)Dockerfile

? ? 內(nèi)容為:?FROM gcr.io/spark-operator/spark-operator:v2.4.0-v1alpha1-latest

4. 綁定github賬號選擇對應(yīng)倉庫并選擇海外機(jī)器構(gòu)建

創(chuàng)建鏡像倉庫

5. 創(chuàng)建后點(diǎn)擊管理? 然后點(diǎn)構(gòu)建? 添加規(guī)則?


添加規(guī)則

6. 添加后點(diǎn)立即構(gòu)建 可查看構(gòu)建日志

7. 構(gòu)建成功在基本信息中 docker pull 構(gòu)建的鏡像

8. docker tag old new即可


helm list 查看releasename

helm status releasename 查看狀態(tài)



問題2: 運(yùn)行spark-pi示例

Failed to run spark-pi example following the guide

關(guān)于創(chuàng)建serviceAccount:

1.通過apply yaml文件

2.?kubectl create serviceaccount spark

kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default


關(guān)于examples/spark-pi.yaml?

查看該yaml文件,k8s各節(jié)點(diǎn)docker images須有運(yùn)行所需的 gcr.io/spark-operator/spark:v2.4.0 鏡像? 另外imagepullpolicy改為IfNotPresent?

同時(shí)注意serviceAccount: spark



最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容