概述 系統(tǒng)的學(xué)習(xí)一下flink的streaming 算子操作，學(xué)習(xí)一下新的技術(shù)，增加一下個(gè)人的技術(shù)棧儲(chǔ)備，java/scala的api； Flink流式算子api官網(wǎng)連接：D...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Flink-Streaming-算子學(xué)習(xí)-01
-
spark-sql跑任務(wù)報(bào)錯(cuò)org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location f...
spark-SQL跑任務(wù)報(bào)錯(cuò) 錯(cuò)誤信息如下 解決方案： 增加executor內(nèi)存，把spark.executor.memory由10G調(diào)到20G就不出現(xiàn)這個(gè)異常了 原因分析 ...
-
數(shù)倉(cāng)入門基礎(chǔ)-3-數(shù)倉(cāng)方法論三范式（3NF）： 第一范式[https://baike.baidu.com/item/%E7%AC%AC%E4%B8%80%E8%8C%83%E5%BC%8F]（1NF）...
-
CentOS 7下使用yum安裝Mesos
參考Mesos官網(wǎng)，可以使用Mesos源碼安裝Mesos，這種方法安裝的Mesos配置成系統(tǒng)服務(wù)，比較麻煩，推薦使用yum安裝Mesos。由于默認(rèn)yum源中不包含 Mesos...
-
PySpark筆記(一)：Spark簡(jiǎn)介與安裝Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開(kāi)源的類H...
-
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記最近在逐步跟進(jìn)Hbase的相關(guān)工作，由于之前對(duì)Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對(duì)Hbase的理解，對(duì)相關(guān)知識(shí)點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
