一、Distinct aggregation 算法 包含 distinct 關鍵字的 aggregation 由 4 個物理執(zhí)行步驟組成。我們使...
投稿
收錄了43篇文章 · 281人關注
-
Spark Aggregations execution
-
StreamSets：Record Header Attributes記錄頭屬性是記錄頭中的屬性，您可以根據需要在管道邏輯中使用這些屬性。 有些stage為特定目的創(chuàng)建記錄頭屬性。例如，CDC-enabl...
-
Flink系統架構簡介Flink系統組成 Flink是一個分層系統，從下到上分為：系統部署層、任務運行層、API層以及基于API開發(fā)的通用庫層(Libraries)。...
-
Alluxio：架構及數據流1 架構 1.1 概述 Alluxio作為大數據和機器學習生態(tài)系統中的一個新的數據訪問層，配置在任何持久性存儲系統(如Amazon S3、...
-
Kafka Connect 概念Kafka Connect是一個用于將數據流輸入和輸出Kafka的框架。Confluent平臺附帶了幾個內置connector，可以使用這...
-
Connector開發(fā)指南本篇文章描述了開發(fā)人員如何為Kafka Connect編寫新的connector。 核心概念與API Connectors和Tasks ...
-
YARN資源調度策略之Capacity Scheduler
背景 yarn默認使用的是最簡單的FIFO調度器，即一個default隊列，所有用戶共享，分配資源也是先到先得，沒有優(yōu)先級之分。有時一兩個任務就...
-
Ambari安裝部署HadoopAmbari安裝部署Hadoop Apache Ambari是一種基于Web的工具，支持Apache Hadoop集群的供應、管理和監(jiān)控。Amb...
-
Spark Streaming 調優(yōu)指南Spark Streaming是架構在Spark Core上的一個“應用”，SparkStreaming主要由DStreamGraph、Job的...
-
利用Sqoop將MySQL海量測試數據導入HDFS和HBase
聲明：作者原創(chuàng)，轉載注明出處。作者：帥氣陳吃蘋果 一、安裝Sqoop 1、下載sqoop,解壓、文件夾重命名 2、配置環(huán)境變量 vim /etc...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/30065/79_120528095220_1.jpg', '推薦專題《Hadoop在簡書》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/9414550aefdd?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}