該篇主要是為了整理常用的function使用和開(kāi)發(fā)自定義function的，hive雖說(shuō)語(yǔ)法類(lèi)似于mysql，但是mysql默認(rèn)的dual表并不存在，需要自己手動(dòng)創(chuàng)建一下，為了方便測(cè)試：
hive>create table? dual(x string);
hive>insert into dual values('');
1、查詢function列表
hive> show functions;
2、查詢制定function的詳細(xì)說(shuō)明
3、upper、lower大小寫(xiě)轉(zhuǎn)換
4、unix_timestamp獲取制定時(shí)間毫秒數(shù)，默認(rèn)是當(dāng)前時(shí)間戳
5、current_date查看當(dāng)前日期
6、current_timestamp查看當(dāng)前時(shí)間戳
7、to_date字符串轉(zhuǎn)成日期，必須是標(biāo)準(zhǔn)格式
8、year、month、day
9、from_unixtime將long類(lèi)型轉(zhuǎn)換為時(shí)間，可以指定格式
10、substr/substring字符串截取
11、concat字符串連接
12、concat_ws將字符串用指定分隔符連接
13、split分割字符串，根據(jù)指定字符分割字符串，分割字符可以是正則表達(dá)式
14、explode把數(shù)組或者map轉(zhuǎn)成列，posexplode同explode，但會(huì)額外增加一列標(biāo)識(shí)轉(zhuǎn)化列所處數(shù)組的位置
現(xiàn)存在如下表：
要求計(jì)算該表中的單詞出現(xiàn)的頻率，即mr的wordcount示例
實(shí)現(xiàn)SQL如下，實(shí)現(xiàn)過(guò)程就是先用split分割，然后用explode轉(zhuǎn)化，再作為臨時(shí)表查詢，拓展一下如果單詞分割不僅僅只有逗號(hào)，或者空格、引號(hào)等可以用正則表達(dá)式實(shí)現(xiàn)或者用多重split。經(jīng)過(guò)看官網(wǎng)的介紹，還有一個(gè)黑科技（sentences方法），能直接根據(jù)語(yǔ)言習(xí)慣自動(dòng)分割成單詞：
15、json_tuple解析json字符串
現(xiàn)在存在如下表：
要求按照格式userid，movie，rate，time，year，month，day，hour，minute，ts并按照月份寫(xiě)到分區(qū)表中。實(shí)現(xiàn)過(guò)程如下：
建表：
hive> create table movie(userid int,movie int,rate int,time string,year int,month int,day int,hour?? int,minute int,ts timestamp)
?? >partitioned by (m string)
?? >row format delimited fields terminated by '/t';
數(shù)據(jù)寫(xiě)入，其中數(shù)據(jù)處理用到了字符串轉(zhuǎn)bigint（cast），bigint轉(zhuǎn)時(shí)間戳（from_unixtime），時(shí)間戳轉(zhuǎn)字符串（date_format）：
校驗(yàn)：
16、row_number函數(shù)
分組排序使用
現(xiàn)有如下數(shù)據(jù)表：
需求：按年齡大小查出男和女最大年齡的兩個(gè)
17、自定義UDF函數(shù)（臨時(shí)）
idea新建maven項(xiàng)目
編輯pom.xml文件
1）修改打包類(lèi)型，默認(rèn)是war包，這里需要的是jar包
2）定義hive和hadoop的版本號(hào)，方便其他地方引用，因?yàn)橛玫氖莄dh版本的hadoop和hive，所以需要添加cdh的資源庫(kù)
3）添加hadoop和hive的依賴
新建class繼承org.apache.hadoop.hive.ql.udf.generic.GenericUDF類(lèi)，方法如下：
打包
view-->Tool Windows-->Maven Project，雙擊package直接打包成jar文件
上傳到linix，然后hive下執(zhí)行以下命令：
hive> add jar /home/hadoop/lib/hive-1.0.jar;
hive> CREATE TEMPORARY FUNCTION calculateStringsLength as 'com.ruozedata.HelloUDF';
測(cè)試：
18、自定義UDF函數(shù)（永久）
$ hdfs dfs -mkdir /lib
$ hdfs dfs -put hive-1.0.jar /lib/
