Kafka作為一個支持大數(shù)據(jù)量寫入寫出的消息隊列,由于是基于Scala和Java實現(xiàn)的,而Scala和Java均需要在JVM上運行,所以如果是基于內(nèi)存的方式,即JVM的堆來進...
kinesis簡介(什么是Kinesis) Amazon Kinesis 可以輕松收集、處理和分析實時視頻和數(shù)據(jù)流 1、使用 Kinesis可以捕獲,處理,存儲video s...
原文:點這里該文章原文是俄文,被人翻譯成了英文,整體風(fēng)格略顯生硬。不喜歡看的,可以直接跳過,看最后我增加的結(jié)論。另外,感謝@張健同學(xué)(一個著迷于源碼的小鮮肉)的大力幫助~翻譯...
你好 clickhouse支持S3了嗎?我想使用呢 沒有找到相應(yīng)文檔
ClickHouse RoadMap 2019(粗略翻譯版)2018年12月17日 2018年即將結(jié)束。對于ClickHouse和ClickHouse社區(qū)來說,這是一個偉大的一年 - 許多活動,新功能和有趣的項目?,F(xiàn)在是時候看看下一步...
前言 寫這篇文章的契機是前段時間在Flink社區(qū)大群里詳細(xì)解答了一個問題。 我們每天都會與JVM堆打交道(之前哪篇文章的開頭也是這個來著)。但作為大數(shù)據(jù)工程師,我們對JVM的...
前言 Spark作為一個基于內(nèi)存的分布式計算引擎,程序在運行時可能會被集群中的任何資源阻塞:CPU | 網(wǎng)絡(luò)帶寬 | 內(nèi)存。然而Spark的內(nèi)存管理模塊在整個系統(tǒng)中扮演著非常...
@focus007 yarn
Flink之工作原理Flink工作原理 Flink作為新的stream計算引擎,這兩年社區(qū)的活躍度很高。對于Flink 既可以處理stream data也可以處理batch data,同時可以兼...
前言:本篇文章主要介紹自己工作中對HBase數(shù)據(jù)寫入的一些淺淺的認(rèn)識和理解。最近剛接到一個需求是將Hive的數(shù)據(jù)加工處理成用戶標(biāo)簽數(shù)據(jù)存于HBase中,那么問題來了,對于HB...
借用HBase官網(wǎng)對其的介紹來初步認(rèn)識一下HBase,當(dāng)你需要對大量的數(shù)據(jù)進行隨機,實時的讀/寫訪問時,請使用Apache HBase?。這個項目的目標(biāo)是在非常大的表中,存儲...
前言:掌握Hbase的重要性不言而喻,掌握Hbase的設(shè)計原理更是重中之重。本文是對HBase原理進行講解系列文章的開篇,本文盡量詳細(xì)的從整體上介紹HBase的架構(gòu),并對每個...