hive配置了元數(shù)據(jù)存儲的介質(zhì)是mysql數(shù)據(jù)庫，這時候還是local模式，hiveserver2是通過自己的JDBC程序直接訪問MySQL，從而獲取元數(shù)據(jù)。 但是如果一旦配...
發(fā)簡信
IP屬地：云南
-
hive開啟metastore、hiveserver2
-
hive3.1.2報錯tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apach...啟動hive客戶端，執(zhí)行show databases時，報錯： tried to access method com.google.common.base.Stopwatch...
-
beeline啟動報OutOFMemoryError
beeline客戶端啟動時報錯OutOFMemoryError：Java heap space 刪除~/.beeline/history文件即可。 該文件是beeline每次...
-
-
idea導入hadoop源碼提示proto相關(guān)包找不到
首先，電腦先安裝ProtocolBuffers2.5.0。 然后進入到缺包的子模塊下的proto目錄下，執(zhí)行轉(zhuǎn)換proto文件為java文件的命令即可。 例如： 執(zhí)行命令：c...
-
sqoop的eval工具
eval的作用：Evaluate a SQL statement and display the results，也就是說eval像是一個數(shù)據(jù)庫的客戶端工具。 一、使用eva...
-
shell調(diào)用beeline導致nohup后臺進程stopped
nohup啟動java進程調(diào)用shell執(zhí)行beeline命令導致nohup進程stopped，java進程消失了。 環(huán)境變量增加如下之后解決。 export HADOOP_...
-
scalaTest的使用
修改pom.xml，添加以下內(nèi)容 <!--依賴--><dependency> <groupId>org.scalatest</groupId> scalatest_2.11...
-
在mysql中給查詢的結(jié)果添加序號
方法1： Select (@i:=@i+1) as RowNum, A.* from Table1 A,(Select @i:=0) B order by a.id desc...
-
MYSQL實現(xiàn) RANK函數(shù)排序功能
-- 創(chuàng)建表create table sc(cid int,score int);-- 插入數(shù)據(jù)insert into sc values(1,10),(1,21),(2,1...
-
DataFrame自定義聚合函數(shù)，groupby后agg/apply調(diào)用
1、多列聚合計算，自定義聚合函數(shù)，其實groupby后里面是一個子dataframe，處理的時候當成是dataframe處理即可。例如： #自定義聚合函數(shù)，將數(shù)據(jù)框兩列轉(zhuǎn)成字...
-
Python將oracle的blob/clob轉(zhuǎn)string
直接將讀取到的blob/clob字段用read()方法獲取即可，例如：result[0][2].read() #clob轉(zhuǎn)換字符串def clobToString(x): ...
-
Python操作es批量upsert數(shù)據(jù)
from elasticsearch import Elasticsearchfrom elasticsearch import helpers# elasticsearch...
-
Dataframe轉(zhuǎn)化為字典、元組
Dataframe轉(zhuǎn)化為字典格式的兩種方法： da = df.to_dict(orient='records') das = df.to_json(orient='recor...
-
DataFrame列名大小寫自動轉(zhuǎn)換
df列名批量轉(zhuǎn)化為小寫：org_project.columns=org_project.columns.map(lambda x:x.lower()) df列名批量轉(zhuǎn)化為大寫...
-
設(shè)置layui的select選擇框向上彈出
.selectUp .layui-form-select dl{top: auto;bottom: 36px;} 參考原文：https://blog.csdn.net/han...