IP屬地：廣東
-
自定義分詞器
前言 es能夠?qū)崿F(xiàn)快速的全文搜索，除了依賴其本身倒排索引的思想，還依賴其分詞器 分析器 es本身內(nèi)置了一些常用的分析器(analyzer)，分析...
-
awk與sed命令用法整理
awk awk是一種處理文本文件的語言，在對數(shù)據(jù)分析并生成報告時，表現(xiàn)的十分強大，簡單來說awk就是八人間逐行的讀入,以空格為默認分割符將每行切...
-
hive字段級別血緣實現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評估邏輯變更的影響、快速追溯數(shù)據(jù)來源)，需要構(gòu)建hive字段級別的數(shù)據(jù)血緣，hive本身提供提供...
-
jvm問題排查寫在前面 線上系統(tǒng)中：如果突然運行緩慢，CPU 100%，以及Full GC次數(shù)過多的問題，最終導(dǎo)致的直觀現(xiàn)象就是系統(tǒng)運行緩慢。本文主要針對系統(tǒng)...
-
akka編程demoAKKA akka基于actor模型， 是一個用于構(gòu)建可擴展的彈性的快速響應(yīng)的應(yīng)用程序的平臺；actor模型：是一個并行計算模型。 它把acto...
-
spark Streaming 背壓實現(xiàn)（對接kafka）
本文的介紹以DirectDStream為例進行介紹 啟動sparkStreaming的背壓 涉及類 RateController: 背壓入口，了...
-
kylin cube優(yōu)化1. 查看相關(guān)統(tǒng)計 1.1 查看cuboid物化狀態(tài) 命令：./kylin.sh org.apache.kylin.engine.mr.comm...
-
kylin hbase遷移
一、背景 現(xiàn)kylin作為數(shù)據(jù)源提供報表支撐的場景持續(xù)增多，經(jīng)常出現(xiàn)查詢慢的問題，為提高hbase支撐的穩(wěn)定性，同時可以應(yīng)對讀寫組合的情況，考慮...
-
es寫優(yōu)化
es寫入流程 寫入lucene緩存,此時數(shù)據(jù)不可見,同時會寫一份數(shù)據(jù)到translog; 如果此時寫入成功,會將寫請求轉(zhuǎn)發(fā)到對應(yīng)的副分片上. 到...