┌───────────────────────────────────────────────────┐│2019年12月23日18:55:55更新│ 若redis有密碼...
發(fā)簡信
IP屬地：湖南
-
如何高效的向Redis中插入大量數(shù)據(jù)
-
國內(nèi)穩(wěn)定的免費API接口，我也來分享下
多多點贊，因為分享是一種美德 http://zhouxunwang.cn/api_a.php?id=25 位置查詢 http://zhouxunwang.cn/api_a.p...
-
數(shù)倉--Hive-面試之Hive動態(tài)分區(qū)
面試如果被問道，那么需要說出彩來，特別時參數(shù) Hive動態(tài)分區(qū)參數(shù)配置 往hive分區(qū)表中插入數(shù)據(jù)時，如果需要創(chuàng)建的分區(qū)很多，比如以表中某個字段進行分區(qū)存儲，則需要復制粘貼修...
-
Spark Streaming和Kafka集成深入淺出
寫在前面 本文主要介紹Spark Streaming基本概念、kafka集成、Offset管理 本文主要介紹Spark Streaming基本概念、kafka集成、Offse...
-
提交Spark作業(yè)，科學設(shè)定spark-submit參數(shù)
首先擺出我們常用的一種設(shè)定。 關(guān)于spark-submit的執(zhí)行過程，讀Spark Core的源碼能夠獲得一個大致的印象。今天事情比較多，所以之后會另寫文章專門敘述關(guān)于Spa...
-
Hbase--為什么不建議在Hbase中使用過多列族面試很容易被問到，也容易被問倒?。?！Hbase官網(wǎng)建議每張表的列族數(shù)建議設(shè)在1-3之間，so，Why?從5個方面說明以下問題： 列族數(shù)對Flush的影響 在Hbase中，調(diào)用...
-
Kafka+Spark Streaming如何保證exactly once語義在Kafka、Storm、Flink、Spark Streaming等分布式流處理系統(tǒng)中（沒錯，Kafka本質(zhì)上是流處理系統(tǒng)，不是單純的“消息隊列”），存在三種消息傳遞語義（...
-
Kafka+Spark Streaming管理offset的兩種方法Kafka配合Spark Streaming是大數(shù)據(jù)領(lǐng)域常見的黃金搭檔之一，主要是用于數(shù)據(jù)實時入庫或分析。 為了應(yīng)對可能出現(xiàn)的引起Streaming程序崩潰的異常情況，我們一...
-
Spark--SparkCore面試知識點總結(jié)
整理于【Spark面試2000題】Spark core面試篇03 ，梅峰谷大數(shù)據(jù) 1.Spark使用parquet文件存儲格式能帶來哪些好處？ 如果說HDFS 是大數(shù)據(jù)時代分...
-
es 在數(shù)據(jù)量很大的情況下（數(shù)十億級別）如何提高查詢效率啊？面試官心理分析 這個問題是肯定要問的，說白了，就是看你有沒有實際干過 es，因為啥？其實 es 性能并沒有你想象中那么好的。很多時候數(shù)據(jù)量大了，特別是有幾億條數(shù)據(jù)的時候，可能...
-
六大數(shù)據(jù)采集平臺的架構(gòu)對比分析隨著大數(shù)據(jù)越來越被重視，數(shù)據(jù)采集的挑戰(zhàn)變的尤為突出。今天為大家介紹幾款數(shù)據(jù)采集平臺：Apache Flume、Fluentd、Logstash、Chukwa、Scribe、S...
-
數(shù)倉--Hive-面試之Hive設(shè)置配置參數(shù)的方法，列舉8個常用配置
Hive設(shè)置配置參數(shù)的方法 Hive提供三種可以改變環(huán)境變量的方法，分別是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行...
-
Hbase--優(yōu)化之表設(shè)計
1-預分區(qū) 默認情況下，在創(chuàng)建HBase表的時候會自動創(chuàng)建一個region分區(qū)，當導入數(shù)據(jù)的時候，所有的HBase客戶端都向這一個region寫數(shù)據(jù)，直到這個region足夠...
-
利用Binlog和Kafka實時同步mysql數(shù)據(jù)到Elasticsearch(四) - 消費Kafka消息同步數(shù)據(jù)到ES目錄 1、利用Binlog和Kafka實時同步mysql數(shù)據(jù)到Elasticsearch(一) - 開啟Binlog日志2、利用Binlog和Kafka實時同步mysql數(shù)據(jù)...
-
Spark--數(shù)據(jù)傾斜解決方案數(shù)據(jù)傾斜分為兩大類：聚合傾斜和join傾斜，針對不同的傾斜類型采用不同解決方案 數(shù)據(jù)傾斜解決方案上分為：緩解數(shù)據(jù)傾斜和徹底解決數(shù)據(jù)傾斜 1.數(shù)據(jù)傾斜表現(xiàn)形勢 導致數(shù)據(jù)傾斜的算...
-
深入解析Spark Core、Spark Streaming源碼，徹底精通Spark
-
微服務(wù)日志分析之ELKK所謂ELKK 是指 Elasticsearch, Logstash, Kibana, Kafka 這4個開源日志分析，收集, 分析展現(xiàn)和傳輸工具。 由于 Logstash 是...
-
flume+kafka+SparkStreaming+mysql+ssm+高德地圖熱力圖項目一、概述 本篇文章主要介紹如何使用SparkStreaming + flume + Kafka 實現(xiàn)實時數(shù)據(jù)的計算，并且使用高德地圖API實現(xiàn)熱力圖的展示。 背景知識： 在有...
