┌───────────────────────────────────────────────────┐│2019年12月23日18:55:55更新│ 若redis有密碼...
發(fā)簡信
IP屬地：湖南
-
如何高效的向Redis中插入大量數(shù)據(jù)
-
國內(nèi)穩(wěn)定的免費(fèi)API接口，我也來分享下
多多點(diǎn)贊，因?yàn)榉窒硎且环N美德 http://zhouxunwang.cn/api_a.php?id=25 位置查詢 http://zhouxunwang.cn/api_a.p...
-
數(shù)倉--Hive-面試之Hive動(dòng)態(tài)分區(qū)
面試如果被問道，那么需要說出彩來，特別時(shí)參數(shù) Hive動(dòng)態(tài)分區(qū)參數(shù)配置 往hive分區(qū)表中插入數(shù)據(jù)時(shí)，如果需要?jiǎng)?chuàng)建的分區(qū)很多，比如以表中某個(gè)字段進(jìn)行分區(qū)存儲(chǔ)，則需要復(fù)制粘貼修...
-
Spark Streaming和Kafka集成深入淺出
寫在前面 本文主要介紹Spark Streaming基本概念、kafka集成、Offset管理 本文主要介紹Spark Streaming基本概念、kafka集成、Offse...
-
提交Spark作業(yè)，科學(xué)設(shè)定spark-submit參數(shù)
首先擺出我們常用的一種設(shè)定。 關(guān)于spark-submit的執(zhí)行過程，讀Spark Core的源碼能夠獲得一個(gè)大致的印象。今天事情比較多，所以之后會(huì)另寫文章專門敘述關(guān)于Spa...
-
Hbase--為什么不建議在Hbase中使用過多列族面試很容易被問到，也容易被問倒?。。base官網(wǎng)建議每張表的列族數(shù)建議設(shè)在1-3之間，so，Why?從5個(gè)方面說明以下問題： 列族數(shù)對(duì)Flush的影響 在Hbase中，調(diào)用...
-
Kafka+Spark Streaming如何保證exactly once語義在Kafka、Storm、Flink、Spark Streaming等分布式流處理系統(tǒng)中（沒錯(cuò)，Kafka本質(zhì)上是流處理系統(tǒng)，不是單純的“消息隊(duì)列”），存在三種消息傳遞語義（...
-
Kafka+Spark Streaming管理offset的兩種方法Kafka配合Spark Streaming是大數(shù)據(jù)領(lǐng)域常見的黃金搭檔之一，主要是用于數(shù)據(jù)實(shí)時(shí)入庫或分析。 為了應(yīng)對(duì)可能出現(xiàn)的引起Streaming程序崩潰的異常情況，我們一...
