一、ZooKeeper概念和基礎(chǔ) 1、ZooKeeper的使命就是在分布系統(tǒng)中協(xié)作多個(gè)任務(wù)。一個(gè)協(xié)作任務(wù)就是指一個(gè)包含多個(gè)進(jìn)程的任務(wù)；這個(gè)任務(wù)可以是為了協(xié)作，也可以是為了管...
發(fā)簡(jiǎn)信
IP屬地：天津
-
ZooKeeper學(xué)習(xí)筆記
-
安裝VMWare增強(qiáng)工具失敗
錯(cuò)誤：VBoxClient: VBoxClient (seamless): failed to start. Stage...... 解決： sudo apt-get ins...
-
小白也可以輕松搭建一套 Kafka 集群
資源準(zhǔn)備 準(zhǔn)備 Linux 服務(wù)器 3 臺(tái) 192.168.9.1192.168.9.2192.168.9.3 安裝配置 JDK1.7+（詳細(xì)操作） 下載 kafka-0.1...
-
spark streaming + kafka +python(編程)初探一、環(huán)境部署 hadoop集群2.7.1zookeerper集群kafka集群：kafka_2.11-0.10.0.0spark集群：spark-2.0.1-bin-hado...
-
京東廣告算法面經(jīng)
作者：啥也不會(huì)的手抓餅 鏈接：https://www.nowcoder.com/discuss/30719 來源：牛客網(wǎng) 京東廣告算法： 一面： 1.主成分分析為什么可以維數(shù)...
-
雅虎開源的TensorFlowOnSpark環(huán)境配置
--------"道路是曲折的,前途是光明的。"此筆記旨在做備份和記錄，也希望為和我一樣迷茫的你偶爾點(diǎn)一下睛。歡迎各位深度君一起交流學(xué)習(xí)：） 參考資料在開始之前，應(yīng)該已經(jīng)熟悉...
-
Spark Mongodb集成 - Python版Spark是最近比較火的數(shù)據(jù)處理平臺(tái)，相對(duì)于Hadoop的Mapreduce(MR)，既具有運(yùn)行速度的優(yōu)勢(shì)，又打破的Hadoop MR交互性差的局限，同時(shí)，其機(jī)器學(xué)習(xí)組件ML...
-
TensorFlowOnSpark 源碼解析
前言 這兩天琢磨了下spark-deep-learning和spark-sklearn兩個(gè)項(xiàng)目，但是感覺都不盡人如意。在training時(shí)，都需要把數(shù)據(jù)broadcast到各...
-
Windows上的PyCharm 遠(yuǎn)程連接調(diào)試pyspark在實(shí)驗(yàn)室配置了一個(gè)Spark集群，傳統(tǒng)的方法就是在Windows本地開發(fā)項(xiàng)目，完了后打包，然后上傳到Linux服務(wù)器上，最后執(zhí)行spark-submit 。但是在實(shí)際開發(fā)用還...
-
java操作kafka【準(zhǔn)備】1 : zookeeper集群 搭建在224, 225, 2262 : kafka使用3個(gè)節(jié)點(diǎn)224, 225, 226 修改配置文件config/server...
-
四、ZooKeeper技術(shù)內(nèi)幕本文將從系統(tǒng)模型、序列化與協(xié)議、客戶端工作原理、會(huì)話、服務(wù)端工作原理以及數(shù)據(jù)存儲(chǔ)等方面來揭示ZooKeeper的技術(shù)內(nèi)幕。 一、系統(tǒng)模型 1.1 數(shù)據(jù)模型 ZooKeeper...
-
Spark Streaming 編程指南（2.x）
Spark Streaming 編程指南1.概述Spark Streaming 是 Spark Core API 的擴(kuò)展, 它支持彈性的, 高吞吐的, 容錯(cuò)的實(shí)時(shí)數(shù)據(jù)流的處理...
-
Spark初體驗(yàn)(步驟超詳細(xì))一鄉(xiāng)二里共三夫子不識(shí)四書五經(jīng)六義竟敢教七八九子十分大膽！十室九貧 湊得八兩七錢六分五毫四厘 尚且三心二意 一等下流 前言 這里，不談spark原理，作用，使用場(chǎng)景等，只是一個(gè)...
