問題介紹： hive兩張表關(guān)聯(lián)條件字段類型一個(gè)是string一個(gè)是bigint，關(guān)聯(lián)后發(fā)一個(gè)現(xiàn)象，就是所有長度比較小的數(shù)據(jù)關(guān)聯(lián)后正常結(jié)果，長度比較長的（比如示例中的18位）關(guān)...
發(fā)簡信
IP屬地：江蘇
-
Hive解決不同字段類型關(guān)聯(lián)數(shù)據(jù)劇增問題
-
Anaconda python3.6 版本下載 及 歷史版本下載從anaconda官網(wǎng)上好像不方便找到歷史版本下載，通過這個(gè)連接可以直接訪問歷史發(fā)布的所有版本包進(jìn)行下載：https://repo.anaconda.com/archive/
-
Java安裝與環(huán)境變量配置1、JDK下載地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 根據(jù)電腦系統(tǒng)選擇對應(yīng)...
-
修改Anaconda啟動時(shí)默認(rèn)路徑1、找到Anaconda啟動快捷方式 2、右擊-屬性 3、將目標(biāo)(T)，......D:\Anoconda\Scripts\jupyter-notebook-script.p...
-
pivot_table多層索引問題（二）
上文講解了如何解決pivot_table處理之后的多重索引問題，原文鏈接：http://www.itdecent.cn/p/867aba9cef87 本文介紹另一種方法，解...
-
注意：必須先處理列索引，再處理行索引。如果先處理行索引，行索引轉(zhuǎn)成普通索引，會導(dǎo)致對應(yīng)的列索引缺失。
pivot_table多層索引問題
pivot_table可以實(shí)現(xiàn)Excel數(shù)據(jù)透視表的功能，但是經(jīng)過pivot_table函數(shù)處理后的dataframe的列是多層索引，需要轉(zhuǎn)化成單層索引，具體步驟如下： 1、...
-
pivot_table多層索引問題pivot_table可以實(shí)現(xiàn)Excel數(shù)據(jù)透視表的功能，但是經(jīng)過pivot_table函數(shù)處理后的dataframe的列是多層索引，需要轉(zhuǎn)化成單層索引，具體步驟如下： 1、...
-
mysql生成日期表
統(tǒng)計(jì)數(shù)據(jù)時(shí)，如果交易數(shù)據(jù)不是連續(xù)的，比如統(tǒng)計(jì)每天的銷售額，某個(gè)日期對應(yīng)節(jié)假日，銷售額=0，這樣輸出的數(shù)據(jù)是不連續(xù)的。為了解決這個(gè)問題，我們可以提前生成一個(gè)日期表，沒有數(shù)據(jù)的日...
-
咸魚日更—20200705
上午追了《向往的生活》，這期的嘉賓是快樂家族，屏幕前都能感受到何老師真的快樂了，作為觀眾，我也跟著傻樂了一小時(shí)。 中午跟朋友一起去蘇州中心吃飯，認(rèn)識了新朋友，下午一起玩誰是臥...
-
咸魚日更—20200704
咸魚的周末應(yīng)該怎么度過？ 答案只有一個(gè)，躺著。 上午追了一期《向往的生活》，大概11點(diǎn)起來喝了一碗粥。 然后開始看《乘風(fēng)破浪的姐姐》，有點(diǎn)無聊就蒸了紅薯吃了。 也到中午了，有...
-
咸魚日更—20200703
周五，這周好像不止五天，確實(shí)，這周上了六天班。 怪不得昨天晚上沒有準(zhǔn)備今天的午飯，廚藝要求超標(biāo)了，僅會的那幾樣菜只能湊5頓午飯，多一頓都不行。 早上起來煎了水餃，要不今天中午...
-
http://www.itdecent.cn/p/95d11dc91728
-
Hive增強(qiáng)group函數(shù)
使用場景：需要根據(jù)不同維度對指標(biāo)進(jìn)行下鉆統(tǒng)計(jì)，比如按小時(shí)/按天/按月統(tǒng)計(jì)UV數(shù)。 1、grouping sets 在一個(gè)GROUP BY查詢中，根據(jù)不同的維度組合進(jìn)行聚合，等...
-
Hive開窗函數(shù)
一、應(yīng)用場景： 用于分區(qū)排序 動態(tài)Group By top N 累計(jì)計(jì)算 二、函數(shù)介紹 1、窗口函數(shù)： first_value：取分組內(nèi)排序后，截止到當(dāng)前行，第一個(gè)值；las...
-
kettle學(xué)習(xí)1、下載 安裝 運(yùn)行下載 kettle最新下載地址：http://community.pentaho.com/projects/data-integration/安裝 需求環(huán)...
