發(fā)簡信
IP屬地：香港
-
Elasticsearch-5.6.0使用repository-hdfs快照（備份）數(shù)據(jù)到hdfs并恢復(fù)
背景 Elasticsearch的副本機(jī)制提供了可靠性，可以容忍個別節(jié)點(diǎn)丟失而不影響集群的對外服務(wù)，但是并不能提供對災(zāi)難性故障的保護(hù)，所以需要對...
-
ES集群狀態(tài)查看命令
Elasticsearch中信息很多，同時ES也有很多信息查看命令，可以幫助開發(fā)者快速查詢Elasticsearch的相關(guān)信息。 1. _cat...
-
ELK 6.3.2環(huán)境搭建最近把ELK生產(chǎn)環(huán)境從5.6.0升級到了6.3.2，在此記錄一下 基礎(chǔ)環(huán)境： 操作系統(tǒng)：Centos 6.7 64位ELK版本：6.3.2jdk...
-
sqoop job省略輸入mysql密碼
sqoop在創(chuàng)建job時，使用--password-file參數(shù)，可以避免輸入mysql密碼，如果使用--password將出現(xiàn)警告，并且每次都...
-
sqoop定時增量導(dǎo)入mysql數(shù)據(jù)到hdfs(hive)
需求 有2張大的mysql表，量級分別是1億和4.5億（太大了，DBA的同學(xué)正在考慮分表），而且數(shù)據(jù)是增量的，需要寫spark任務(wù)做處理，直接讀...
-
Specified key was too long; max key length is 767 bytes。
問題：spark sql連接hive的元數(shù)據(jù)（mysql庫）時報錯：Specified key was too long; max key le...
-
centos6.5安裝postgresql9.3及數(shù)據(jù)遷移最近來了一批數(shù)據(jù)，其中有一部分是一個從postgresql導(dǎo)出的sql文件，大概有7個多G，需要把數(shù)據(jù)整合到Mysql里邊做進(jìn)一步處理，網(wǎng)上搜了...
-
Spark之thriftserver/beeline的使用
啟動thriftserver: 默認(rèn)端口是10000 ，可以修改 啟動beelinebeeline -u jdbc:hive2://localh...
-
es設(shè)置max_result_window
es設(shè)置index.max_result_window（就是from+size,默認(rèn)大小10000），可通過如下方式修改： curl -XPUT...