1.基礎(chǔ)概念（1）菜鳥(niǎo)教程https://www.runoob.com/sql/sql-tutorial.html[https://www.runoob.com/sql/sq...
發(fā)簡(jiǎn)信
IP屬地：臺(tái)灣
-
MySQL學(xué)習(xí)計(jì)劃
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
再談Flink事件時(shí)間、水印和遲到數(shù)據(jù)處理前言 之前的文章中已經(jīng)屢次提到過(guò)Flink的事件時(shí)間（event time）、水?。╳atermark）、亂序（out-of-order）、遲到數(shù)據(jù)（late element...
-
【Spark系列】spark中job，stage，task之間的關(guān)系1.什么是job Job簡(jiǎn)單講就是提交給spark的任務(wù)。 2.什么是stage Stage是每一個(gè)job處理過(guò)程要分為的幾個(gè)階段。 3.什么是task Task是每一個(gè)jo...
-
Flume學(xué)習(xí)
1. Flume架構(gòu) https://blog.csdn.net/a2011480169/article/details/51544664 2. flume核心是把數(shù)據(jù)從數(shù)據(jù)...
-
Spark架構(gòu)https://blog.csdn.net/swing2008/article/details/60869183 1. 架構(gòu) cluster manager：控制整個(gè)集群...
-
HDFS學(xué)習(xí)
1. HDFS：hadoop分布式文件管理系統(tǒng)，以流式數(shù)據(jù)訪問(wèn)模式來(lái)存儲(chǔ)超大文件 2. HDFS數(shù)據(jù)塊：HDFS上的文件被劃分為塊大小的多個(gè)分塊，作為獨(dú)立的存儲(chǔ)單元，稱為數(shù)據(jù)...
-
-
spark-streaming-kafka之createDirectStream模式
完整工程用例 最近一直在用directstream方式消費(fèi)kafka中的數(shù)據(jù)，特此總結(jié)，整個(gè)代碼工程分為三個(gè)部分一. 完整工程代碼如下(某些地方特意做了說(shuō)明, 這個(gè)代碼的部...
-
Spark Streaming學(xué)習(xí)
1. 問(wèn)題 #KafkaUtils所屬的jar包spark-streaming-kafka-0-10_2.12怎樣打包到應(yīng)用程序jar中？ # 2.
-
Spark優(yōu)化https://blog.csdn.net/u012102306/article/details/51322209#commentBox https://blog.csdn....
-
Kafka學(xué)習(xí)1. Kafka消費(fèi)方式：通過(guò)Flume，將kafka消息存儲(chǔ)到HDFS 通過(guò)Spark Streaming讀取kafka消息，存儲(chǔ)到redis 2. 高級(jí)API和低級(jí)AP...
-
學(xué)習(xí)資料明細(xì)
1. flume+kafka+sparkstreaming https://blog.csdn.net/trigl/article/details/70237981 2. f...
