1. 為什么要流式計(jì)算 業(yè)務(wù)需求：業(yè)務(wù)需要更及時(shí)計(jì)算結(jié)果，而流數(shù)據(jù)處理可以獲得更低的延時(shí) 數(shù)據(jù)特點(diǎn)：海量的無邊界數(shù)據(jù)在現(xiàn)代企業(yè)中越來越普遍，而流數(shù)據(jù)處理系統(tǒng)就是為此而生的 硬...
發(fā)簡信
IP屬地：北京
-
Streaming 101 -
The What, Where, When and How of Data Processing這一章節(jié)繼續(xù)深入講解數(shù)據(jù)處理模式，介紹魯棒的去數(shù)據(jù)亂序數(shù)據(jù)的核心概念，這些概念的應(yīng)用是流式系統(tǒng)超越批系統(tǒng)的關(guān)鍵所在。 路線圖 第一章中講述了兩個(gè)重要的概念 事件時(shí)間VS處理時(shí)...
-
導(dǎo)讀
書中主要分為兩個(gè)大部分，每個(gè)大部分包含獨(dú)立的4個(gè)小節(jié)。 Part1 Beam Model Beam Model(1~4小節(jié)），高階流批一體模型，最初是Google開發(fā)的Dat...
-
Flink-Flink On Yarn
Flink run方式提交 對于yarn session方式需要先啟動(dòng)一個(gè)集群，然后在提交作業(yè)。對于Flink run直接提交作業(yè)相對比較簡單，不需要額外的去啟動(dòng)一個(gè)集群。 ...
-
Druid 概述
解決兩個(gè)核心問題：-. RDBMS的查詢太慢。-. 支持靈活的查詢分析能力。 Druid的三個(gè)設(shè)計(jì)原則 快速查詢：部分?jǐn)?shù)據(jù)的聚合（Partial Aggregate） + 內(nèi)...
-
LeetCode 1081. 不同字符的最小子序列
題目描述 返回字符串 text 中按字典序排列最小的子序列，該子序列包含 text 中所有不同字符一次。示例 1： 題目解析 詳細(xì)描述一下題目，要求是字符串中所有字母均要出現(xiàn)...
-
LeetCode 1039. 多邊形三角剖分的最低得分
題目描述 給定 N，想象一個(gè)凸 N 邊多邊形，其頂點(diǎn)按順時(shí)針順序依次標(biāo)記為 A[0], A[i], ..., A[N-1]。 假設(shè)您將多邊形剖分為 N-2 個(gè)三角形。對于每個(gè)...
-
LeetCode 1049. 最后一塊石頭的重量 II
題目描述 有一堆石頭，每塊石頭的重量都是正整數(shù)。 每一回合，從中選出任意兩塊石頭，然后將它們一起粉碎。假設(shè)石頭的重量分別為 x 和 y，且 x <= y。那么粉碎的可能結(jié)果如...
-
LeetCode 1079. 活字印刷
題目描述 你有一套活字字模 tiles，其中每個(gè)字模上都刻有一個(gè)字母 tiles[i]。返回你可以印出的非空字母序列的數(shù)目。 示例 1： 題目解析 以每次拿出完一個(gè)字母后，剩...
-
LeetCode 1043. 分隔數(shù)組以得到最大和
題目描述 給出整數(shù)數(shù)組 A，將該數(shù)組分隔為長度最多為 K 的幾個(gè)（連續(xù)）子數(shù)組。分隔完成后，每個(gè)子數(shù)組的中的值都會(huì)變?yōu)樵撟訑?shù)組中的最大值。 返回給定數(shù)組完成分隔后的最大和。示...
-
JVM學(xué)習(xí)-內(nèi)存結(jié)構(gòu)與垃圾回收JVM內(nèi)存結(jié)構(gòu) 虛擬機(jī)棧：其中的數(shù)據(jù)為Stack Frame 棧幀，屬于線程私有的內(nèi)存空間。棧用于存放局部變量表、操作棧、動(dòng)態(tài)鏈接和方法出口等信息。一個(gè)方法的執(zhí)行過程就是對棧...
-
JVM學(xué)習(xí)-垃圾回收器Serial收集器 單線程收集器，收集時(shí)會(huì)暫停所有工作線程（Stop The World），虛擬機(jī)運(yùn)行在Client模式時(shí)的默認(rèn)新生代收集器。 最早的收集器，單線程進(jìn)行GC ...
-
Spark內(nèi)存管理詳解在這行Spark的應(yīng)用程序時(shí)，Spark集群會(huì)啟動(dòng)Driver和Executor兩種JVM線程，前者為主控進(jìn)程，負(fù)責(zé)創(chuàng)建Spark上下文，提交Spark作業(yè)（Job），并將作...
-
Spark Shuffle原理詳解1. shuffle原理 概述：Shuffle描述著數(shù)據(jù)從map task輸出到reduce task輸入的這段過程。在分布式情況下，reduce task需要跨節(jié)點(diǎn)取拉取其...
-
Flink-Window And Time術(shù)語理解 什么是streaming流式計(jì)算一種被設(shè)計(jì)用于處理無限數(shù)據(jù)集的數(shù)據(jù)處理引擎 什么是無界數(shù)據(jù)一種不斷增長的本質(zhì)上無限的數(shù)據(jù)集 window在streaming計(jì)算中承...
-
Flink-DateStream ApiGraph StreamGraph 根據(jù)用戶代碼生成最初的圖 表示程序的拓?fù)浣Y(jié)構(gòu) 在client端生成 JobGraph 優(yōu)化streamGraph 將多個(gè)符合條件的Node...
-
LeetCode 1105. 填充書架題目描述 附近的家居城促銷，你買回了一直心儀的可調(diào)節(jié)書架，打算把自己的書都整理到新的書架上。 你把要擺放的書 books 都整理好，疊成一摞：從上往下，第 i 本書的厚度為 ...
-
尋找數(shù)組中的眾數(shù)- 摩爾投票法
問題：在長度為n的數(shù)組中找出重復(fù)次數(shù)超過n/2的數(shù)（假設(shè)一定存在）。 存在O(n)的時(shí)間復(fù)雜度和O(1)的空間復(fù)雜度的解法，即摩爾投票法 摩爾投票法 摩爾投票法基于這樣一個(gè)事...
-
-
LeetCode 1155.擲骰子的N種方法
題目描述 這里有 d 個(gè)一樣的骰子，每個(gè)骰子上都有 f 個(gè)面，分別標(biāo)號為 1, 2, ..., f。我們約定：擲骰子的得到總點(diǎn)數(shù)為各骰子面朝上的數(shù)字的總和。如果需要擲出的總點(diǎn)...