IP屬地：廣西
-
spark 源碼分析系列 - wordcount 源碼分析前言 本文主要通過(guò)spark wordcount 案例的源碼來(lái)分析spark中的運(yùn)行過(guò)程。 spark 編程模型 在spark中，RDD被表示為對(duì)象，通過(guò)對(duì)象上的方法調(diào)用來(lái)對(duì)...
-
HBase系列 - HBase Shell操作
HBase Shell 基本操作 進(jìn)入HBase客戶(hù)端命令行bin/hbase shell 查看幫助命令hbase(main):001:0> help 查看當(dāng)前數(shù)據(jù)庫(kù)中有哪些...
-
HBase系列 - 內(nèi)部機(jī)制 MemstoreFlush、StoreFile Compaction、Region Split詳解前言 HBase以高并發(fā)、搞可靠、高性能而聞名，而Compact和Split功能貫穿了hbase的整個(gè)寫(xiě)入過(guò)程，而熟悉Compact和Split內(nèi)部邏輯以及控制參數(shù)才能根據(jù)具...
-
hbase-compact剖析
前面的文章介紹了當(dāng)達(dá)到一定的條件后memstore會(huì)flush生成hfile，隨著hfile文件逐漸增多，查詢(xún)可能需要更多的IO操作，為了合并這些hfile文件從而衍生出了c...
-
個(gè)人專(zhuān)注大數(shù)據(jù)開(kāi)發(fā)運(yùn)維架構(gòu)的相關(guān)技術(shù)分享，更多文章請(qǐng)關(guān)注我個(gè)人微信公眾號(hào)“大數(shù)據(jù)開(kāi)發(fā)運(yùn)維架構(gòu)”
-
HBase系列 - 概念和架構(gòu)原理前言 本文主要介紹HBase基本概念以及架構(gòu)原理包含數(shù)據(jù)模型、基礎(chǔ)進(jìn)程組件。再?gòu)腍Base的寫(xiě)流程和讀流程去了解HBase的架構(gòu)原理。 1 HBase 定義 HBase是一種...
-
Hive 系列 - 調(diào)優(yōu)經(jīng)驗(yàn)
1 Fetch抓取 Fetch抓取是指，Hive中對(duì)某些情況的查詢(xún)可以不必使用MapReduce計(jì)算。例如：SELECT * FROM employees;在這種情況下，Hi...
-
Hive 系列 - 壓縮和存儲(chǔ)1 Hadoop源碼編譯支持Snappy壓縮 1.1 jar包準(zhǔn)備(hadoop源碼、JDK8 、maven、protobuf) （1）hadoop-2.7.2-src.ta...
-
Hive 系列 - 常用函數(shù)
1系統(tǒng)內(nèi)置函數(shù) 1．查看系統(tǒng)自帶的函數(shù) 2．顯示自帶的函數(shù)的用法 3．詳細(xì)顯示自帶的函數(shù)的用法 2 自定義函數(shù) Hive 自帶了一些函數(shù)，比如：max/min等，但是數(shù)量有限...
-
HBase MemStore 101前言 在我們的日常工作中，HBase主要作為KV Store來(lái)使用，撐起數(shù)據(jù)倉(cāng)庫(kù)APP層的半邊天，為后臺(tái)和客戶(hù)端提供高效的存取服務(wù)。另外，它也是我們采用的OLAP引擎Kyli...
-
Hive 系列 - DQL 查詢(xún)數(shù)據(jù)
查詢(xún)語(yǔ)句語(yǔ)法： 1 基本查詢(xún)（Select…From） 1.1 全表和特定列查詢(xún) 1.2 列別名 1.3 算術(shù)運(yùn)算符 運(yùn)算符描述A+BA和B 相加A-BA減去BA*BA和B ...
-
Hive 系列 - DML數(shù)據(jù)操作
1 數(shù)據(jù)導(dǎo)入 1.1 向表中裝載數(shù)據(jù)（Load） 語(yǔ)法 ? （1）load data:表示加載數(shù)據(jù) ? （2）local:表示從本地加載數(shù)據(jù)到hive表；否則從HDF...
-
Hive 系列 - DDL數(shù)據(jù)定義
1 創(chuàng)建數(shù)據(jù)庫(kù) 創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)在HDFS上的默認(rèn)存儲(chǔ)路徑是/user/hive/warehouse/*.db。hive (default)> create datab...
-
Hive 系列 - 架構(gòu)和基本概念1. 架構(gòu)原理 2用戶(hù)接口：ClientCLI（hive shell）、JDBC/ODBC(java訪(fǎng)問(wèn)hive)、WEBUI（瀏覽器訪(fǎng)問(wèn)hive） 元數(shù)據(jù)：Metastor...
-
ElasticSearch 系列 - RestFulAPI(DSL)
前言 DSL全稱(chēng) Domain Specific language，即特定領(lǐng)域?qū)Ｓ谜Z(yǔ)言 1.全局操作 1.1 查詢(xún)集群健康情況 1.2 查詢(xún)各個(gè)節(jié)點(diǎn)狀態(tài) 2. 對(duì)索引的操作 ...
-
ElasticSearch 系列 - 基本概念
1.ElasticSearch的基本概念 1.1 概念 Elasticsearch有幾個(gè)核心概念，先理解這些概念將有助于掌握Elasticsearch。 1.1.1 近實(shí)時(shí)(...
-
簡(jiǎn)析Spark Streaming/Flink的Kafka動(dòng)態(tài)感知前言 Sunday night，繼續(xù)超短文模式（希望下周就可以不這么劃水了hhhh Kafka是我們?nèi)粘５牧魈幚砣蝿?wù)中最為常用的數(shù)據(jù)源之一。隨著數(shù)據(jù)類(lèi)型和數(shù)據(jù)量的增大，難免要...
