┌───────────────────────────────────────────────────┐│2019年12月23日18:55:55更新│ 若redis有密碼...
┌───────────────────────────────────────────────────┐│2019年12月23日18:55:55更新│ 若redis有密碼...
多多點贊,因為分享是一種美德 http://zhouxunwang.cn/api_a.php?id=25 位置查詢 http://zhouxunwang.cn/api_a.p...
面試如果被問道,那么需要說出彩來,特別時參數(shù) Hive動態(tài)分區(qū)參數(shù)配置 往hive分區(qū)表中插入數(shù)據(jù)時,如果需要創(chuàng)建的分區(qū)很多,比如以表中某個字段進行分區(qū)存儲,則需要復制粘貼修...
寫在前面 本文主要介紹Spark Streaming基本概念、kafka集成、Offset管理 本文主要介紹Spark Streaming基本概念、kafka集成、Offse...
首先擺出我們常用的一種設(shè)定。 關(guān)于spark-submit的執(zhí)行過程,讀Spark Core的源碼能夠獲得一個大致的印象。今天事情比較多,所以之后會另寫文章專門敘述關(guān)于Spa...
面試很容易被問到,也容易被問倒?。?!Hbase官網(wǎng)建議每張表的列族數(shù)建議設(shè)在1-3之間,so,Why?從5個方面說明以下問題: 列族數(shù)對Flush的影響 在Hbase中,調(diào)用...
在Kafka、Storm、Flink、Spark Streaming等分布式流處理系統(tǒng)中(沒錯,Kafka本質(zhì)上是流處理系統(tǒng),不是單純的“消息隊列”),存在三種消息傳遞語義(...
Kafka配合Spark Streaming是大數(shù)據(jù)領(lǐng)域常見的黃金搭檔之一,主要是用于數(shù)據(jù)實時入庫或分析。 為了應(yīng)對可能出現(xiàn)的引起Streaming程序崩潰的異常情況,我們一...
整理于【Spark面試2000題】Spark core面試篇03 ,梅峰谷大數(shù)據(jù) 1.Spark使用parquet文件存儲格式能帶來哪些好處? 如果說HDFS 是大數(shù)據(jù)時代分...
面試官心理分析 這個問題是肯定要問的,說白了,就是看你有沒有實際干過 es,因為啥?其實 es 性能并沒有你想象中那么好的。很多時候數(shù)據(jù)量大了,特別是有幾億條數(shù)據(jù)的時候,可能...
隨著大數(shù)據(jù)越來越被重視,數(shù)據(jù)采集的挑戰(zhàn)變的尤為突出。今天為大家介紹幾款數(shù)據(jù)采集平臺:Apache Flume、Fluentd、Logstash、Chukwa、Scribe、S...
Hive設(shè)置配置參數(shù)的方法 Hive提供三種可以改變環(huán)境變量的方法,分別是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行...
1-預分區(qū) 默認情況下,在創(chuàng)建HBase表的時候會自動創(chuàng)建一個region分區(qū),當導入數(shù)據(jù)的時候,所有的HBase客戶端都向這一個region寫數(shù)據(jù),直到這個region足夠...
目錄 1、利用Binlog和Kafka實時同步mysql數(shù)據(jù)到Elasticsearch(一) - 開啟Binlog日志2、利用Binlog和Kafka實時同步mysql數(shù)據(jù)...
數(shù)據(jù)傾斜分為兩大類:聚合傾斜和join傾斜,針對不同的傾斜類型采用不同解決方案 數(shù)據(jù)傾斜解決方案上分為:緩解數(shù)據(jù)傾斜和徹底解決數(shù)據(jù)傾斜 1.數(shù)據(jù)傾斜表現(xiàn)形勢 導致數(shù)據(jù)傾斜的算...
所謂ELKK 是指 Elasticsearch, Logstash, Kibana, Kafka 這4個開源日志分析,收集, 分析展現(xiàn)和傳輸工具。 由于 Logstash 是...
一、概述 本篇文章主要介紹如何使用SparkStreaming + flume + Kafka 實現(xiàn)實時數(shù)據(jù)的計算,并且使用高德地圖API實現(xiàn)熱力圖的展示。 背景知識: 在有...