介紹 Hive的分析函數(shù)又叫窗口函數(shù)， 在oracle中就有這樣的分析函數(shù)，主要用來做數(shù)據(jù)統(tǒng)計(jì)分析的。Lag和Lead分析函數(shù)可以在同一次查詢中取出同一字段的前N行的數(shù)據(jù)【L...
發(fā)簡信
IP屬地：四川
-
Hive分析函數(shù)LAG和LEAD詳解
-
flink checkpoint/savepoint的metadata文件格式詳解源頭 flink的checkpoint和savepoint用于恢復(fù)作業(yè)狀態(tài)，在恢復(fù)作業(yè)時，如果存在多個checkpoint，將獲取最新的checkpoint來進(jìn)行恢復(fù)，沒有c...
-
Hive Grouping Sets多維分析
介紹 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP：這幾個函數(shù)通常用于OLAP中，不能累加，而且需要根據(jù)不同維度上鉆和下鉆的指標(biāo)統(tǒng)計(jì)。 GRO...
-
IDEA拉取Git出現(xiàn)0x80092013問題解決
發(fā)生原因 更新了IDEA到2020.2后，發(fā)現(xiàn)git pull或者push都會報這個錯誤。 過程 因在2020.1中并沒有發(fā)生這種錯誤，在git bash中也不會有，只存在于...
-
git fork項(xiàng)目更新介紹 當(dāng)我們從其他的開源項(xiàng)目中fork了項(xiàng)目到我們自己的倉庫后，如果源倉庫有更新，我們怎么將更新同步我們自己倉庫中已fork項(xiàng)目呢。下面就以incubator-dolphin...
-
Spark3.0系列(一)IDEA編譯Spark源碼閱讀源碼的第一步是下載Spark源碼，并導(dǎo)入到工具中閱讀。 下載 進(jìn)入http://spark.apache.org/downloads.html頁面，點(diǎn)擊download箭...
-
Spark3.0系列（二）Master啟動流程源碼解析問題 在Spark的standalone 模式中Master是如何啟動？ 在Master啟動后又做了哪些操作？ Master啟動流程 從Spark2.0開始就以及刪除了akk...
-
-
Kafka新版本API特性
在kafka中，新版本api主要是針對java版本的producer和consumer。 Producer新版本的Producer，相對于舊版本而言，在設(shè)計(jì)理念上具有以下優(yōu)勢...
-
kafka集群規(guī)劃
kafka的集群規(guī)劃主要需要考慮以下幾個方面： 操作系統(tǒng)：最好選擇Lunix系統(tǒng)，因Linux提供的epoll模型使用的是I/O多路復(fù)用+信號驅(qū)動I/O的結(jié)合；且Linux可...
-
kafka調(diào)優(yōu)參數(shù)設(shè)置
下面將以Kafka集群設(shè)計(jì)的各方面參數(shù)進(jìn)行說明：broker端口參數(shù)topic級別參數(shù)GC配置參數(shù)JVM參數(shù)OS參數(shù) broker端參數(shù)Kafka目前尚不支持動態(tài)參數(shù)修改，也...
-
Producer主要參數(shù)
除了bootstrap.servers、key.serializer和value.serializer三個必須參數(shù)之外，Java版本的Producer還提供了很多其他重要的參...
-
Consumer主要參數(shù)
consumer除里指定的4個必要參數(shù)（bootstrap.servers、group.id、key.deserializer、value.deserializer）外，Ja...
-
自定義udtf函數(shù)輸出多列
介紹 在hive中，可以對其進(jìn)行添加自定義的函數(shù)來滿足自己的特定場景的功能，hive中可以提供三種自定義函數(shù)： 普通函數(shù)：一進(jìn)一出 UDAF函數(shù)：多進(jìn)一出 UDTF函數(shù)：一進(jìn)...
-
有一種幽默，叫性騷擾！
文| 九妹來源 |國館 （ID：guoguan5000） 01. 曾在網(wǎng)上，看到有網(wǎng)友吐槽過這樣一個事： 她大學(xué)剛畢業(yè)工作時，參加了一個公司新人破冰活動。 在一個問答環(huán)節(jié)中，...
-
zookeeper的FastLeaderElection選舉算法
在zookeeper中主要有3中選舉算法： LeaderElection(UDP版本) AuthFastLeaderElection(UDP版本，這個選舉算法包含2種，1/不...
-
zookeeper配置介紹
zookeeper的默認(rèn)配置文件為zookeeper/conf/zoo_sample.cfg，需要將其修改為zoo.cfg。其中各配置項(xiàng)的含義，解釋如下： tickTime：...