發(fā)簡信
IP屬地：北京
-
20道經(jīng)典的Kafka面試題詳解
基礎(chǔ)題目 1、Apache Kafka 是什么? Apach Kafka 是一款分布式流處理框架，用于實(shí)時構(gòu)建流處理應(yīng)用。它有一個核心 的功能廣為人知，即作為企業(yè)級的消息引擎...
-
配置nginx的upstream負(fù)載均衡
配置在nginx.conf文件中的http配置項(xiàng)內(nèi) 方式1: 輪詢 方式2: 權(quán)重輪詢 方式3: ip_hash 每一個請求按訪問ip的hash結(jié)果分配 方式4: 按后端服務(wù)...
-
Elasticsearch線程池配置
查看當(dāng)前線程組狀態(tài) curl -XGET 'http://localhost:9200/_nodes/stats?pretty'[http://localhost:9200/...
-
RabbitMq安裝配置
rabbitmq有3種模式，集群模式2種? 單機(jī)模式：即單機(jī)情況不做集群，就單獨(dú)運(yùn)行一個rabbitmq而已。? 普通模式：默認(rèn)模式，以兩個節(jié)點(diǎn)（rabbit01、r...
-
Eclipse Maven 項(xiàng)目出現(xiàn)紅叉，解決方法
首先，windows--->show view --->markers 報： 1.JAX-RS (REST Web Services) 2.0 requires Java 1...
-
Spring-Cloud 心跳監(jiān)測
Spring Cloud實(shí)現(xiàn)心跳監(jiān)測，在服務(wù)注冊和停止時，注冊中心能得到通知，并更新服務(wù)實(shí)例列表 Spring Cloud注冊中心添加配置： eureka.server.en...
-
Presto性能的優(yōu)化概述 Presto架構(gòu) Presto是一個分布式的查詢引擎，本身并不存儲數(shù)據(jù)，但是可以接入多種數(shù)據(jù)源，并且支持跨數(shù)據(jù)源的級聯(lián)查詢。 Presto的架構(gòu)分為： Coodinat...
-
Presto內(nèi)存及優(yōu)化1.1 內(nèi)存調(diào)優(yōu)參數(shù) query.max-memory：表示單個查詢在分布在所有相關(guān)節(jié)點(diǎn)上能用的內(nèi)存之和的最大值。query.max-memory-per-node：表示單個...
-
Tez中比較重要的參數(shù)
timeline server 配置 ，默認(rèn)是org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService ...
-
Map與Reduce數(shù)量的控制
如何合并小文件，減少map數(shù)？ 再執(zhí)行上面的語句，用了74個map任務(wù)，map消耗的計算資源：SLOTS_MILLIS_MAPS= 333,500對于這個簡單SQL任務(wù)，執(zhí)行...
-
人際交往50規(guī)律(轉(zhuǎn))
受歡迎的人一般都是活潑開朗，多才多藝，人群中比較亮眼那種。而不是非得討好每個人，才能人緣好。 人際交往百分之八十都是利益互換。該談利益的時候，莫談感情?？辞宄@一點(diǎn)，別到頭來...
-
Hive參數(shù)優(yōu)化實(shí)踐參考1
Tez的Group管理 tez.grouping.min-size 默認(rèn)50Mtez.grouping.max-size 默認(rèn)1G 分組拆分大小的下限默認(rèn)值為 50 MB分組...
-
Hive如何處理大量小文件
小文件是如何產(chǎn)生的 動態(tài)分區(qū)插入數(shù)據(jù)的時候，會產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增 數(shù)據(jù)源本身就包含有大量的小文件 reduce個數(shù)越多，生成的小文件也越多 小文件的危...
-
Tez內(nèi)存優(yōu)化參考
AM、Container大小設(shè)置 tez.am.resource.memory.mb 參數(shù)說明：Set tez.am.resource.memory.mb tobe the ...
-
Hive on Tez 中 Map 任務(wù)的數(shù)量計算
Hive on Tez 中的Mapper 數(shù)量計算 在Hive 中執(zhí)行一個query時，我們可以發(fā)現(xiàn)Hive 的執(zhí)行引擎在使用 Tez 與 MR時，兩者生成mapper數(shù)量差...
-
全量表、快照表、增量表、拉鏈表、維度表、實(shí)體表、事實(shí)表
原文鏈接： https://blog.csdn.net/a6822342/article/details/100050548https://blog.csdn.net/PTt...
-
