發(fā)簡信
IP屬地：四川
RPC體系結構 spark1.6中的RPC體系結構大致如下： RpcEnv相當于容器，有host、port已及注冊其中的RpcEndpoint，...
之前一段時間通過SparkStreaming+Kafka處理上網(wǎng)日志數(shù)據(jù)的一些記錄，做個備忘。 KafkaUtils.createDirectS...
運行監(jiān)控對系統(tǒng)的重要性不言而喻，尤其是分布式環(huán)境中，程序運行是否正常，在哪些節(jié)點上運行，每個節(jié)點處理的數(shù)據(jù)量是否均勻，每個任務的處理時間是否大致...
算法描述 樸素貝葉斯算法是監(jiān)督學習中分類算法中的一種。需要先通過學習一批分類正確的訓練數(shù)據(jù)集得出模型才能進行分類,算法大致如下： 假設待分類的數(shù)...
概要 目前Spark官方提供Java,Scala,Python三種語言的API。因為Spark是用Scala開發(fā)，而Scala本身是基于JVM的...