原文：https://tech.meituan.com/spark-tuning-basic.html Spark性能優(yōu)化指南——基礎篇 前言 在大數(shù)據(jù)計算領域，Spark已...
IP屬地：內(nèi)蒙古
-
Spark性能優(yōu)化指南——基礎篇 -
Flink 狀態(tài)管理前言 在傳統(tǒng)的批處理中，數(shù)據(jù)劃分為一個個batch，然后每一個Task去處理一個batch。一個批次的數(shù)據(jù)通過計算處理輸出就是最終的結(jié)果。對于state的需求不高 對于流計算...
-
Flink Window1.window 概述 streaming流式計算是一種被設計用于處理無限數(shù)據(jù)集的數(shù)據(jù)處理引擎，而無限數(shù)據(jù)集是指一種不斷增長的本質(zhì)上無限的數(shù)據(jù)集 Window窗口就在一個無界...
-
HBase之 數(shù)據(jù)刷寫 (Memstore Flush) 詳細說明本文轉(zhuǎn)載自過往記憶（https://www.iteblog.com/）鏈接: 【HBase 入門之數(shù)據(jù)刷寫(Memstore Flush)詳細說明】（https://www....
-
Spark系列——Spark On Yarn 資源申請流程Spark On Yarn 資源申請流程 Client 模式因為是Client模式，所以當我們 Spark-Submit 提交Spark任務的時候，會直接走到我們的main方...
-
Kafka 重平衡 全流程解析前言 本文來自 極客時間 Kafka核心技術(shù)與實戰(zhàn)這段時間有看 極客時間的這個課程,這里僅以分享的角度來做個筆記。那么本文將涉及到以下幾個知識點： 重平衡是什么？為什么要了解...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消費者如何管理 offset 我之前有寫一篇kafka Consumer — offset的控制如果你對于這方面的知識還不太清楚，建議你去看一下，畢竟理解了K...