發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark sql 解析原理引用：Spark SQL架構(gòu)和原理[https://zhuanlan.zhihu.com/p/107904954]Spark SQL 性能優(yōu)化再...
-
關(guān)于SparkStreaming 緩存KafkaCosumer導(dǎo)致多個(gè)線程使用一個(gè)Cosumer對(duì)象報(bào)錯(cuò)解決思路
現(xiàn)象 可以通過(guò)以上異常看到“Block rdd_722700_5 could not be removed as it was not foun...
-
Spark調(diào)優(yōu)
Spark參數(shù)調(diào)優(yōu)： num-executors建議：一般設(shè)置50~100左右 executors-memory建議:4G8G，不超過(guò)整個(gè)集群資...
-
Hive分析函數(shù)Hive分析函數(shù) Example: Ntile（分片） 使用場(chǎng)景：計(jì)算百分之幾的用戶的結(jié)果 給了用戶和每個(gè)用戶對(duì)應(yīng)的消費(fèi)信息表， 計(jì)算花費(fèi)前50...
-
Hbase面試題
1.Hbase的特點(diǎn) 分布式面向列存儲(chǔ) 主從結(jié)構(gòu) 合適存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化數(shù)據(jù) Null不會(huì)存儲(chǔ)，沒(méi)有數(shù)據(jù)類型 cell存儲(chǔ)的是字節(jié)數(shù)組...
-
Kafka面試題1.Kafka定義 Kafka是分布式的發(fā)布訂閱消息系統(tǒng)，可劃分的，冗余備份的持久性日志服務(wù) 2.Kafka的作用 緩沖削峰 解耦可擴(kuò)展 異步 ...
-
數(shù)倉(cāng)初探’## 數(shù)倉(cāng)特征： 面前主題：數(shù)據(jù)分析問(wèn)題，一個(gè)主題對(duì)應(yīng)一個(gè)分析領(lǐng)域，如：用戶行為 集成：面向企業(yè)級(jí)的數(shù)據(jù)，數(shù)據(jù)具有完整性，一致性，精準(zhǔn)性 變化...
-
SparkStreaming限速
SparkStreaming限速 Spark端限速 調(diào)整spark.streaming.kafka.maxrateperpartiton參數(shù)，它...