1. 刪除原函數(shù)和jar包 1.1 在hive窗口e中執(zhí)行刪除原函數(shù) 1.2 在beeline中執(zhí)行刪除jar包 1.3 從hdfs上刪除jar包 2 重新上傳jar包，注冊...
IP屬地：廣東
-
hive更新UDF的正確步驟
-
在CDH環(huán)境集成Hudi一、Hudi簡介 Hudi是Hadoop Updates and Incrementals的縮寫，用于管理HDFS上的大型分析數(shù)據(jù)集存儲(chǔ)，主要目的是高效的減少入庫延時(shí)。Hud...
-
MongoDB數(shù)據(jù)增量同步到Hive（方案二通過MongoSpark）
一、背景 本文續(xù)接上文 MongoDB數(shù)據(jù)增量同步到Hive（方案一通過BSON文件映射）[http://www.itdecent.cn/p/ebc96cf0cabe]考...
-
MongoDB數(shù)據(jù)增量同步到Hive（方案一通過BSON文件映射）
一、背景 隨著monggo中數(shù)據(jù)量越來越大，全量同步到數(shù)倉，已不太現(xiàn)實(shí)，考慮增量同步的方式，我們在探索增量同步的過程中，方案不斷在改進(jìn)優(yōu)化，這里記錄一下我們mongo增量同步...
-
mysql數(shù)據(jù)增量同步到hive
一、背景 同步業(yè)務(wù)庫的數(shù)據(jù)到ODS層，之前一直是全量同步數(shù)據(jù)，主要考慮IO太大，耗時(shí)太長，重復(fù)拉取同樣的數(shù)據(jù)，現(xiàn)在考慮增量同步的方式實(shí)現(xiàn)，同時(shí)對庫表數(shù)據(jù)做分區(qū)。 二、同步方案...
-
Spark高級編程之TopN及分組TopN
1、獲取文本內(nèi)最大的前三個(gè)數(shù)字輸入數(shù)據(jù)： 3544426732133542313523733216782156 1）Java版top3： 輸出結(jié)果： [133, 78, 73...
-
Spark高級編程之二次排序
原始數(shù)據(jù)： 2 63 71 52 43 61 32 13 1 1、Java版二次排序首先定義排序的key 然后實(shí)現(xiàn)二次排序 2、Scala版二次排序首先定義排序的key 然后...
-
-
提交wordCount程序到spark集群上運(yùn)行1、Java版wordCount1）Java代碼： 2)打包代碼上傳到服務(wù)器 3）上傳文件到hdfs上去 4)使用spark-submit提交 這里的輸入路徑和輸出路徑可以不...
-
Scala中的隱式轉(zhuǎn)換和隱式參數(shù)
Scala提供的隱式轉(zhuǎn)換和隱式參數(shù)功能，允許你手動(dòng)指定，將某種類型的對象轉(zhuǎn)換成其他類型的對象，通過這些功能，可以實(shí)現(xiàn)非常強(qiáng)大而且特殊的功能。scala的隱式轉(zhuǎn)換，最核心的就是...
-
Scala中trait相關(guān)知識(shí)和應(yīng)用
1、trait基礎(chǔ)知識(shí)1-1 將trait作為接口使用 運(yùn)行結(jié)果： Hello,JackHello,my name is leo,your name is Jack 1-2 ...
-
scala的模式匹配
模式匹配是scala中非常有特色，非常強(qiáng)大的一種功能，模式匹配其實(shí)類似與Java中的switch case語句，即對一個(gè)值進(jìn)行判斷，然后針對某種條件，采取不同的處理。但是Sc...
-
NumPy的操作與運(yùn)算
基本操作 1、數(shù)組上的算術(shù)運(yùn)算符會(huì)應(yīng)用到 元素 級別 運(yùn)行結(jié)果：[ 9.12945251 -9.88031624 7.4511316 -2.62374854][ True...
-
-
numpy創(chuàng)建數(shù)組與打印
本篇文章主要是講解numpy的創(chuàng)建與打印輸出，首先導(dǎo)入numpy庫 用numpy創(chuàng)建數(shù)組的幾種方式 使用array函數(shù)從常規(guī)Python列表或元組中創(chuàng)建數(shù)組。得到的數(shù)組的類型...
