建表： 插入數(shù)據(jù)： 執(zhí)行排序代碼： 輸出結(jié)果： 全國排名TOP5的大學(xué)有20所，我懷疑就是用dense_rank() 計算的。。 另外，不常用的排序函數(shù)還有：percent_...
發(fā)簡信
IP屬地：廣東
-
hive的排序函數(shù) rank()，dense_rank()，row_number() 區(qū)別
-
scala 匿名函數(shù)
定義 Scala 中定義匿名函數(shù)的語法很簡單，箭頭左邊是參數(shù)列表，右邊是函數(shù)體。使用匿名函數(shù)后，我們的代碼變得更簡潔了。下面的表達(dá)式就定義了一個接受一個Int類型輸入?yún)?shù)的匿...
-
hive中 count(1)，count(*)，count(某字段)的區(qū)別
區(qū)別 count(*)：所有行進(jìn)行統(tǒng)計，包括NULL行count(1)：所有行進(jìn)行統(tǒng)計，包括NULL行count(column)：對column中非Null進(jìn)行統(tǒng)計 性能 性...
-
hive表內(nèi)部表和外部表的區(qū)別
內(nèi)部表與外部表的區(qū)別 未被external修飾的是內(nèi)部表（managed table），被external修飾的為外部表（external table）；區(qū)別：內(nèi)部表數(shù)據(jù)由H...
-
178.分?jǐn)?shù)排名
鏈接：https://leetcode-cn.com/problems/rank-scores 編寫一個 SQL 查詢來實現(xiàn)分?jǐn)?shù)排名。如果兩個分?jǐn)?shù)相同，則兩個分?jǐn)?shù)排名（Ran...
-
sqoop筆記
執(zhí)行以下語句時，報錯： 錯誤日志： 原因分析：Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure H...
-
IDEA 配置maven(踩坑最終版)下載mavenhttp://maven.apache.org/download.cgi 解壓后，拷貝到： /library最終目錄是： /Library/apache-ma...
-
mac 查看已安裝的JDK版本以及目錄
終端輸入：/usr/libexec/java_home -V 輸出： 最下面一行的內(nèi)容，就是當(dāng)期那正在使用的JDK版本以及路徑
-
hive面試題
http://bigdatastudy.net/show.aspx?id=163&cid=14 https://blog.csdn.net/WYpersist/article...
-
大數(shù)據(jù)-hadoop報錯調(diào)試路徑001
啟動hive報錯： 原因: 解決方案： 出處：https://stackoverflow.com/questions/44469234/cannot-create-direc...
-
LCSLCS(Longest Common Subsequence) 最長公共子序列 一個序列S任意刪除若干個字符得到的新序列T,則T叫做S的子序列 兩個序列X和Y的公共子序列中，...
-
hive作業(yè)筆記
2.每個用戶有多少個訂單[orders] pv瀏覽量 > uv用戶量 3.每個用戶【2.平均【1.每個訂單是多少商品】】 avg 每個用戶在一周中的購買訂單的分布 --列轉(zhuǎn)...
-
hive 優(yōu)化數(shù)據(jù)傾斜萬能的方法：hive.groupby.skewindata=true這個環(huán)境變量是用于控制負(fù)載均衡 案例：雙11的數(shù)據(jù)特別多，別的時間的任務(wù)很少，處理雙11的redu...
-
Kmeans筆記訓(xùn)練過程中，沒有標(biāo)簽，屬于無監(jiān)督學(xué)習(xí)。 層次聚類有包含關(guān)系，非層次聚類沒有包含關(guān)系 舉個例子：外部評價方法：有1億篇文章沒有劃分類別，有1000篇已經(jīng)劃分好了類別，先對1億篇...
-
tensorflow的坑
安裝tensorflow一直不成功，氣死我了 今天找到一篇文章，終于成功了 https://blog.csdn.net/k7arm/article/details/77799...
-
hiveHive 是一個SQL 解析引擎，將SQL語句轉(zhuǎn)譯成MR Job，然后再hadoop上運行，達(dá)到快速 mysql是存放數(shù)據(jù)的，而hive是不存放數(shù)據(jù)的，hive的表是純邏輯表...
-
sklearn中cross_validation導(dǎo)入失敗
from sklearn.cross_validation import train_test_split 導(dǎo)入報錯：No module named 'sklearn.cro...