前言 es能夠?qū)崿F(xiàn)快速的全文搜索，除了依賴其本身倒排索引的思想，還依賴其分詞器 分析器 es本身內(nèi)置了一些常用的分析器(analyzer)，分析器由三種構(gòu)建組成:charac...
IP屬地：廣東
-
awk與sed命令用法整理
awk awk是一種處理文本文件的語言，在對(duì)數(shù)據(jù)分析并生成報(bào)告時(shí)，表現(xiàn)的十分強(qiáng)大，簡單來說awk就是八人間逐行的讀入,以空格為默認(rèn)分割符將每行切片，切開的部分再進(jìn)行各種分析梳...
-
hive字段級(jí)別血緣實(shí)現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評(píng)估邏輯變更的影響、快速追溯數(shù)據(jù)來源)，需要構(gòu)建hive字段級(jí)別的數(shù)據(jù)血緣，hive本身提供提供了一個(gè)用于打印數(shù)據(jù)血緣的鉤子類...
-
-
akka編程demoAKKA akka基于actor模型， 是一個(gè)用于構(gòu)建可擴(kuò)展的彈性的快速響應(yīng)的應(yīng)用程序的平臺(tái)；actor模型：是一個(gè)并行計(jì)算模型。 它把a(bǔ)ctor作為基本元素來對(duì)待：未響應(yīng)一...
-
spark Streaming 背壓實(shí)現(xiàn)（對(duì)接kafka）
本文的介紹以DirectDStream為例進(jìn)行介紹 啟動(dòng)sparkStreaming的背壓 涉及類 RateController: 背壓入口，了實(shí)現(xiàn)StreamingList...
-
kylin cube優(yōu)化1. 查看相關(guān)統(tǒng)計(jì) 1.1 查看cuboid物化狀態(tài) 命令：./kylin.sh org.apache.kylin.engine.mr.common.CubeStatsRea...
-
kylin hbase遷移
一、背景 現(xiàn)kylin作為數(shù)據(jù)源提供報(bào)表支撐的場景持續(xù)增多，經(jīng)常出現(xiàn)查詢慢的問題，為提高h(yuǎn)base支撐的穩(wěn)定性，同時(shí)可以應(yīng)對(duì)讀寫組合的情況，考慮一種方案即kylin的讀寫分離...
-
es寫優(yōu)化
es寫入流程 寫入lucene緩存,此時(shí)數(shù)據(jù)不可見,同時(shí)會(huì)寫一份數(shù)據(jù)到translog; 如果此時(shí)寫入成功,會(huì)將寫請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的副分片上. 到達(dá)一定時(shí)間,或內(nèi)存中的數(shù)據(jù)達(dá)到...
-
es讀優(yōu)化es搜索數(shù)據(jù) es搜索數(shù)據(jù)流程 es讀寫流程示意圖 分布式搜索示意圖image.png es的幾種搜索類型 QUERY_THEN_FETCH(默認(rèn)的方式) QUERY_AND...
-
-
Hive是怎么轉(zhuǎn)化hql為mr程序的hive是怎么轉(zhuǎn)化hql為MR程序的？ 總的來說，Hive是通過給用戶提供的一系列交互接口，接收到用戶的指令(SQL)，使用自己的Driver，結(jié)合元數(shù)據(jù)(MetaStore...
-
HiveServer2、metaStore以及HiveThriftServer2究竟都是什么？HiveServer2和metaStore hiveServer2和metaStore其實(shí)都是hive本身帶的組件，那么兩者究竟有什么不同呢？ metaStore：hive的...
-
Spark HiveThriftServer2 高可用的實(shí)現(xiàn)
Spark HiveThriftServer高可用的問題 spark HiveThriftServer 繼承了HiveServer2,但是卻沒有繼承HiveServer2的H...
-
Spark性能優(yōu)化總結(jié)總結(jié)一下個(gè)人看了一些Spark性能調(diào)優(yōu)文章之后的理解，主要框架來自于meituantech，會(huì)在此框架上加入個(gè)人關(guān)注點(diǎn)，目錄如下， Overview Spark的瓶頸一般來自...
-
誠招管理員！聯(lián)系我~ 本專題專注于大數(shù)據(jù)技術(shù)，包括但不限于：分布式系統(tǒng)，hadoop，spark，storm，mesos，hbase，zookeeper。。。 Tips:如果是自己學(xué)習(xí)這些技術(shù)，通過社區(qū)學(xué)習(xí)是一個(gè)不錯(cuò)的方式。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
spark streaming一次調(diào)試過程記錄一下最近調(diào)試Streaming程序的過程中所發(fā)現(xiàn)的問題和解決方案， 背景，batch interval = 120s，10個(gè)receiver，吞吐量每秒1000條，一個(gè)b...
-
終于明白為什么要加 final 關(guān)鍵字了！在開發(fā)過程中，由于習(xí)慣的原因，我們可能對(duì)某種編程語言的一些特性習(xí)以為常，特別是只用一種語言作為日常開發(fā)的情況。但是當(dāng)你使用超過一種語言進(jìn)行開發(fā)的時(shí)候就會(huì)發(fā)現(xiàn)，雖然都是高級(jí)語言...
-
IDEA遠(yuǎn)程調(diào)試Spark1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark，這里所說的調(diào)試spark包括： 調(diào)試spark應(yīng)用程序，也就是使用spark算子編寫的driver applicatio...
