key狀態(tài)和算子狀態(tài) key狀態(tài) key狀態(tài)總是與key有關(guān)，只能被用于keyedStream類型的函數(shù)與算子。你可以認為key狀態(tài)是一種被分區(qū)...
投稿
收錄了11篇文章 · 14人關(guān)注
-
Flink狀態(tài)
-
Spark方法aggregate講解
大致的意思是aggregate接收兩個函數(shù)，和一個初始化值。seqOp函數(shù)用于聚集每一個分區(qū)，combOp用于聚集所有分區(qū)聚集后的結(jié)果。每一個分...
-
Hive中自定義Map/Reduce示例 In Python
Hive支持自定義map與reduce script。接下來我用一個簡單的wordcount例子加以說明。使用Python開發(fā)(如果使用Java...
-
Spark Streaming WordCount
在spark官網(wǎng)講解spark streaming的時候，舉了一個word count的例子,通過監(jiān)聽一個端口的TCP連接，統(tǒng)計單詞的個數(shù)。程序...
-
第5章:Hadoop I/O
Hadoop有一些數(shù)據(jù)I/O方面操作的工具，其中一些比Hadoop使用的都更普遍。例如數(shù)據(jù)完整性和壓縮。但是當使用這些工具處理多達幾TB數(shù)據(jù)的時...
-
FileSystem關(guān)鍵幾個方法的時序圖Hadoop將底層文件系統(tǒng)抽象成FileSystem類，上層用戶可以通過相同方法操作底層不同的文件系統(tǒng)。常用的方法有g(shù)et一個FileSyste...
-
Hive中自定義Map/Reduce示例 In JavaHive支持自定義map與reduce script。接下來我用一個簡單的wordcount例子加以說明。如果自己使用Java開發(fā)，需要處理Sy...
-
第4章:YARNApache YARN(Yet Another Resource Negotiator)是一個Hadoop集群資源管理系統(tǒng)。YARN是在Hado...
-
第3章:Hadoop分布式文件系統(tǒng)(2)數(shù)據(jù)流 讀取文件數(shù)據(jù)的剖析 客戶端通過調(diào)用FileSystem對象的open()方法打開一個希望從中讀取數(shù)據(jù)的文件，對于HDFS來說，F(xiàn)ileS...
-
第2章:MapReduceMapReduce是一個數(shù)據(jù)處理的編程模型。這個模型很簡單，但也不是簡單到不能夠支持一些有用的語言。Hadoop能夠運行以多種語言寫成的MapR...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/507347/3c6d55fbb2fb4316ecfbfb0322a4462308f7d3e7.jpg', '推薦專題《Hadoop》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/6bcc828f94c8?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}