最近看了看Flink中state方面的知識，F(xiàn)link中的state是啥？state的作用是啥？為什么Flink中引入了state這個概念？既然最近的項目需要用到state，...
發(fā)簡信
IP屬地：江蘇
-
Flink之狀態(tài)管理
-
kafka如何做到磁盤讀寫比內(nèi)存讀寫還快？Kafka作為一個支持大數(shù)據(jù)量寫入寫出的消息隊列，由于是基于Scala和Java實現(xiàn)的，而Scala和Java均需要在JVM上運行，所以如果是基于內(nèi)存的方式，即JVM的堆來進...
-
aws服務(wù)從入門到精通| Amazon Kinesis 服務(wù)之Firehose操作kinesis簡介（什么是Kinesis） Amazon Kinesis 可以輕松收集、處理和分析實時視頻和數(shù)據(jù)流 1、使用 Kinesis可以捕獲，處理，存儲video s...
-
ClickHouse主鍵探討[譯文+補充]原文：點這里該文章原文是俄文，被人翻譯成了英文，整體風(fēng)格略顯生硬。不喜歡看的，可以直接跳過，看最后我增加的結(jié)論。另外，感謝@張健同學(xué)（一個著迷于源碼的小鮮肉）的大力幫助~翻譯...
-
詳解JVM堆外內(nèi)存的分配和回收機制前言 寫這篇文章的契機是前段時間在Flink社區(qū)大群里詳細解答了一個問題。 我們每天都會與JVM堆打交道（之前哪篇文章的開頭也是這個來著）。但作為大數(shù)據(jù)工程師，我們對JVM的...
-
HBase原理深入解析（一）----HBase架構(gòu)總覽前言：掌握Hbase的重要性不言而喻，掌握Hbase的設(shè)計原理更是重中之重。本文是對HBase原理進行講解系列文章的開篇，本文盡量詳細的從整體上介紹HBase的架構(gòu)，并對每個...
-
Flink之?dāng)?shù)據(jù)流類型Flink為流處理和批處理分別提供了DataStream API和DataSet API。在開發(fā)工作中這些API極大的便利了開發(fā)者開發(fā)大數(shù)據(jù)應(yīng)用。DataStream 在經(jīng)過...
-
Flink學(xué)習(xí)筆記之九狀態(tài)和容錯一.理解狀態(tài) 1.什么是狀態(tài) 其實是某一個時刻，計算的結(jié)果，一般是operator/task，保存在內(nèi)存，由于Flink分布式的運行，所以根據(jù)體系結(jié)構(gòu)runtime，會設(shè)計到...
-
利用Canal投遞MySQL Binlog到KafkaUpdate：Canal與Camus的結(jié)合使用，見http://www.itdecent.cn/p/4c4213385368。 Canal是阿里開源的一個比較有名的Java...
