“ 一切都會過去！除了羊的第二關(guān)....” 今天，你“羊”了嗎？這應(yīng)該是最近出現(xiàn)頻次最多的用語了吧！“羊了個羊”是最近非?；鸨囊豢钗⑿判∮螒?。它火到什么程度？火到上線2天服...
發(fā)簡信
IP屬地：北京
-
今天，你“羊”了嗎？ -
Flink 源碼筆記 — execute 后發(fā)生了什么？
前言 我們知道，F(xiàn)link 程序的執(zhí)行是在我們調(diào)用 env.execute() 后才會真正開始。事實上，我們在編寫業(yè)務(wù)代碼時，是在勾勒程序執(zhí)行的 DAG 圖，當調(diào)用 exec...
-
flink 學(xué)習(xí)筆記 — 基于 Flink 實時數(shù)倉的簡單實踐回顧 Flink 因其高吞吐、低延時、有狀態(tài)、高容錯的特性越來越受到數(shù)據(jù)從業(yè)者的青睞，它彌補了Storm、Spark 的很多不足。作為一個實時計算的框架，F(xiàn)link 在實時數(shù)...
-
flink 學(xué)習(xí)筆記 — 狀態(tài) State回顧 在之前的學(xué)習(xí)中我們了解到，flink 作為低延時的流式數(shù)據(jù)處理框架，本身是有狀態(tài)的。狀態(tài) state 是為了保存一些操作符 operator 的中間結(jié)果，同時，通過狀態(tài)...
-
簡單說說數(shù)據(jù)倉庫數(shù)據(jù)倉庫介紹 數(shù)據(jù)倉庫是集成的、面向主題的、反應(yīng)歷史的數(shù)據(jù)的集合。它需要具有高效查詢、高質(zhì)量的、可擴展的的特性。數(shù)據(jù)倉庫是協(xié)助運營及管理人員及時做出策略調(diào)整的最有效的依據(jù)。 ...
-
flink 學(xué)習(xí)筆記 — 時間定義及窗口機制flink 回顧 通過之前的了解，我們知道，flink是一個高吞吐、低延時的流式處理框架。flink 中具有嚴格的時間定義，采用不同的時間機制，對于其處理延時及處理結(jié)果的準確...
-
flink 學(xué)習(xí)筆記 — 編程模型flink 抽象分層結(jié)構(gòu) flink 作為流式處理框架，不僅具有高效的流數(shù)據(jù)和批數(shù)據(jù)處理性能，具有針對開發(fā)人員使用的高效的底層API，同時有方便分析人員使用的 table/s...
-
flink 學(xué)習(xí)筆記 — 初識 flinkApache flink 簡介 Apache flink 是分布式流式數(shù)據(jù)處理框架，主要用于有界(bounded)和無界(unbounded)數(shù)據(jù)流的有狀態(tài)處理，具有高性能、...
-
flink 學(xué)習(xí)筆記 — 自定義 Sink 函數(shù)
flink Sink簡介 flink 中有兩個重要的概念，Source 和 Sink ，Source 決定了我們的數(shù)據(jù)從哪里產(chǎn)生，而 Sink 決定了數(shù)據(jù)將要去到什么地方。 ...
-
flink學(xué)習(xí)筆記 — watermark 水印
flink 簡介 flink 是最近幾年發(fā)展最為迅速的實時計算框架，它解決了 storm 低吞吐量的問題，同時也解決了 spark 的高延時問題。flink 是一款高吞吐量、...
-
flink 遇到 Tuple2 泛型導(dǎo)致的問題：could not be determined automatically, due to type erasure.
問題描述 錯誤原因：這里錯誤發(fā)生的地方使用了一個 tuple 元組，且沒有指定泛型。 錯誤代碼 解決方案 在 tuple 元組使用時指定泛型。 正確代碼
-
hive表之數(shù)據(jù)傾斜問題解決方案
數(shù)據(jù)傾斜的主要表現(xiàn)形式 reducer 階段一直卡在99.9%，但是一直不能結(jié)束。 大量數(shù)據(jù)進入某個或者某幾個reducer中處理，遠遠超過正常的reducer。 某幾個co...
-
hive表之 order by、sort by、cluster by、distribute by 對比
order by 語法操作 order by 是進行全局排序，在整個作業(yè)執(zhí)行過程中，只產(chǎn)生一個 reducer，在數(shù)據(jù)量過大的時候，執(zhí)行的時間會很長 。事實上，這與分布式的思...
-
hive表之簡單窗口函數(shù) over()
窗口函數(shù)通常是分析人員使用 hive ql 進行一些復(fù)雜邏輯計算時使用的特殊函數(shù)，其中 over() 通常與聚合函數(shù)共同使用，比如 count()、sum()、min()、m...
-
記一次 redis 問題排查：MISCONF Redis is configured to save RDB snapshots, but is currently not able to pe...
問題描述 近期在redis的使用中出現(xiàn)下面的問題： 這個問題描述的很清楚，redis的配置是保存數(shù)據(jù)庫快照，但是在執(zhí)行時不能將數(shù)據(jù)持久化到磁盤。 解決方法 簡單的解決方案： ...
-
hive表之分區(qū)
hive 是一款基于 hadoop 的、提供結(jié)構(gòu)化數(shù)據(jù)組織及查詢的數(shù)據(jù)倉庫工具，它提供了 Hive ql方言，使用簡單的 sql 就能解決大多數(shù)的數(shù)據(jù)查詢工作，使得復(fù)雜的 m...
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產(chǎn)品極客體驗分析等類型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學(xué)習(xí)，添加時備注簡書ID。
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術(shù)干貨、項目經(jīng)驗、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)，也可以是項目經(jīng)驗類的文章和程序員日常。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個人信息放在個人主頁介紹里。 3.字數(shù)極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄，請確認文章內(nèi)容和本專題相關(guān) 目前針對優(yōu)質(zhì)作者及愛好者，開設(shè)了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個人微信，主編會將你加入到【程序員】微信群，分享內(nèi)容，收獲知識。添加微信時備注昵稱。
