因為傳統(tǒng)的機器學(xué)習(xí)是基于sklearn,xgboost,有著豐富分算法庫,spark mlib不能滿足所有的需求. spark來處理數(shù)據(jù)預(yù)處理和特征工程,sklearn,x...
發(fā)簡信
IP屬地：江西
-
spark跟pandas數(shù)據(jù)轉(zhuǎn)換
-
pycharm 開發(fā)pyspark下載spark包 配置參數(shù) 配置spark參數(shù)vim ${spark_dir}/conf/spark-env.shexport SPARK_LOCAL_IP=ifconfig...
-
scala特性
為了能用scala開發(fā)spark,簡單的介紹一下scala特性.scala即面向?qū)ο缶幊?也同時面向方法編程,也可以說是面向容器編程,在編譯階段會把scala代碼編譯成jav...
-
spark應(yīng)用開發(fā)HelloWorld準(zhǔn)備 代碼列子1.安裝scala插件開發(fā)工具 intellij-IDEA 插件 3.開發(fā)代碼數(shù)據(jù)people.json 新建HelloWorld scala object. 輸出:
-
marathon 訂閱事件
參考:https://mesosphere.github.io/marathon/docs/event-bus.html 啟用marathon訂閱功能 ./bin/start...
-
Jupyter gateway api使用啟動 nohup jupyter kernelgateway --JupyterWebsocketPersonality.list_kernels=True --Kernel...
-
Jupyter Kernel Gateway 安裝
安裝 conda install -c conda-forge jupyter_kernel_gateway 啟動 jupyter kernelgateway 參考 http...
-
安裝Anaconda
下載 https://www.continuum.io/downloads 安裝 bash $filedir/anaconda_xxx.sh 參考 https://docs....
-
azkaban 配置jobtype plugins出現(xiàn)問題和解決
問題 變量無法替換 Exception in thread "main" azkaban.jobtype.JobTypeManagerException: azkaban.j...
-
azkaban-plugins 開發(fā)環(huán)境搭建
簡述 azkaban-plugins 是用ant構(gòu)建的,既然ant已經(jīng)是老式的工程構(gòu)建工具,為什么不用maven,gradle替換掉它？我覺得是因為azkaban開發(fā)者們覺得...
-
azkaban-plugins 開發(fā)環(huán)境搭建
簡述 azkaban-plugins 是用ant構(gòu)建的,既然ant已經(jīng)是老式的工程構(gòu)建工具,為什么不用maven,gradle替換掉它？我覺得是因為azkaban開發(fā)者們覺得...
-
剖析 azkaban load plugins
插件有很多,azkaban預(yù)留的接口多種多樣,比如UserManager,Job,LoginAbstractAzkabanServlet等. 首先我要講的是,jobType插...
-
剖析azkaban解析作業(yè)流
azkaban是沒有創(chuàng)建作業(yè)流,創(chuàng)建任務(wù),建立任務(wù)之間關(guān)系的操作的.它本身的工作模式,在本地進行編輯.創(chuàng)建任務(wù),創(chuàng)建作業(yè)流,建立依賴關(guān)系,然后打成zip上傳. Directo...
-
剖析azkaban解析作業(yè)流
azkaban是沒有創(chuàng)建作業(yè)流,創(chuàng)建任務(wù),建立任務(wù)之間關(guān)系的操作的.它本身的工作模式,在本地進行編輯.創(chuàng)建任務(wù),創(chuàng)建作業(yè)流,建立依賴關(guān)系,然后打成zip上傳. Directo...
-
azkaban 數(shù)據(jù)庫設(shè)計
版本:v3.1.0azkaban有17張表,分成6類project,scheduler,triggers,executions,executors,sla.其中project...
-
azkaban webserver代碼剖析
上面是AzkabanWebServer的構(gòu)造函數(shù),AzkabanWebServer有如下的管理器: userManager projectManager executorMa...
-
azkaban webserver代碼剖析
上面是AzkabanWebServer的構(gòu)造函數(shù),AzkabanWebServer有如下的管理器: userManager projectManager executorMa...
-
azkaban 數(shù)據(jù)庫設(shè)計
版本:v3.1.0azkaban有17張表,分成6類project,scheduler,triggers,executions,executors,sla.其中project...