發(fā)簡信
IP屬地：上海
-
Spark - 編譯、打包和開發(fā)環(huán)境搭建1. 編譯打包 Spark 支持 SBT 和 Maven 兩種方式，一般構(gòu)建使用 maven，開發(fā)中調(diào)試使用交互式的 SBT SBT 執(zhí)行 bu...
-
-
一種大數(shù)據(jù)作業(yè)容器化的方法大數(shù)據(jù)分布式作業(yè)調(diào)度系統(tǒng)的一般架構(gòu)是由 master 將任務(wù)分發(fā)到一批 worker 上執(zhí)行 大數(shù)據(jù)作業(yè)有很多種不同的任務(wù)類型： Shell J...
-
Ray autoscaler for k8s installation
https://docs.ray.io/en/latest/autoscaling.html#kubernetes 1. 安裝 kuberctl...
-
Scale a CPU intensive python task using Ray
本文旨在嘗試使用 Ray 將一個(gè)運(yùn)行在單機(jī)環(huán)境，非常消耗 CPU 且運(yùn)行時(shí)間較長的算法任務(wù)，改成分布式環(huán)境運(yùn)行的程序，以達(dá)到同時(shí)降低單臺機(jī)器的負(fù)...
-
基于 RocksDB 的可靠 Kafka producer
https://github.com/artiship/rocks-kafka-producer 為什么 Kafka producer 需要持久...
-
基于 RocksDB 的持久化隊(duì)列
https://github.com/artiship/rocks-queue-java[https://github.com/artiship...
-
使用 Supervisord 托管 Java 應(yīng)用
目前結(jié)構(gòu) 應(yīng)用啟動(dòng)腳本 Supervisor 配置文件 啟動(dòng)服務(wù)
-
Presto HA with haproxy
As we know, Presto coordinator service has the single point of failure i...