IP屬地：寧夏
-
spark調(diào)優(yōu)
spark調(diào)優(yōu){ 1，資源調(diào)優(yōu){ a)搭建集群{ (1)配置目錄在spark安裝包中的conf下spark-env.sh (2)spark...
-
hbase熱點(diǎn)問題(數(shù)據(jù)傾斜)解決方案---rowkey散列和預(yù)分區(qū)設(shè)計(jì)
Hbase的表會(huì)被劃分為1....n個(gè)Region,被托管在RegionServer中。Region二個(gè)重要的屬性：Startkey與EndKe...
-
SparkStreaming+Kafka的整合receiver模式 原理圖： executor中會(huì)有receiver tasks接收kafka推送過來(lái)的數(shù)據(jù)，數(shù)據(jù)會(huì)被持久化，默認(rèn)級(jí)別為mem...
-
Elasticsearch的api做的萬(wàn)度后臺(tái)代碼實(shí)現(xiàn)學(xué)習(xí)了elasticSearch的內(nèi)容，想將網(wǎng)頁(yè)上爬取的網(wǎng)易的網(wǎng)頁(yè)放入索引，實(shí)現(xiàn)跟百度一樣的查詢功能，特地做個(gè)萬(wàn)度給自己用，廢話不多說直接上代碼...