發(fā)簡信
IP屬地：河北
-
-
java 依賴包沖突，使用maven的Shade方式解決
java 依賴包沖突，使用maven的Shade方式解決 [TOC] 問題描述 程序中同時(shí)使用了hadoop工具包與ElasticSearch工具導(dǎo)致jar包。程序報(bào)錯(cuò)： j...
-
Github中java語言中收獲最多star的前十個(gè)項(xiàng)目1. CyC2018/CS-Notes star: 59.3k 介紹: 技術(shù)面試必備基礎(chǔ)知識、Leetcode 題解、后端面試、Java 面試、春招、秋招、操作系統(tǒng)、計(jì)算機(jī)網(wǎng)...
-
Elasticsearch-5.6.0使用repository-hdfs快照（備份）數(shù)據(jù)到hdfs并恢復(fù)
背景 Elasticsearch的副本機(jī)制提供了可靠性，可以容忍個(gè)別節(jié)點(diǎn)丟失而不影響集群的對外服務(wù)，但是并不能提供對災(zāi)難性故障的保護(hù)，所以需要對ES集群數(shù)據(jù)做一個(gè)完整的備份，...
-
ES集群狀態(tài)查看命令
Elasticsearch中信息很多，同時(shí)ES也有很多信息查看命令，可以幫助開發(fā)者快速查詢Elasticsearch的相關(guān)信息。 1. _cat 2. verbose 每個(gè)命...
-
ELK 6.3.2環(huán)境搭建最近把ELK生產(chǎn)環(huán)境從5.6.0升級到了6.3.2，在此記錄一下 基礎(chǔ)環(huán)境： 操作系統(tǒng)：Centos 6.7 64位ELK版本：6.3.2jdk版本：1.8ES用戶：elas...
-
sqoop job省略輸入mysql密碼
sqoop在創(chuàng)建job時(shí)，使用--password-file參數(shù)，可以避免輸入mysql密碼，如果使用--password將出現(xiàn)警告，并且每次都要手動(dòng)輸入密碼才能執(zhí)行job，...
-
sqoop定時(shí)增量導(dǎo)入mysql數(shù)據(jù)到hdfs(hive)
需求 有2張大的mysql表，量級分別是1億和4.5億（太大了，DBA的同學(xué)正在考慮分表），而且數(shù)據(jù)是增量的，需要寫spark任務(wù)做處理，直接讀取mysql有點(diǎn)吃力，想通過s...
-
Specified key was too long; max key length is 767 bytes。
問題：spark sql連接hive的元數(shù)據(jù)（mysql庫）時(shí)報(bào)錯(cuò)：Specified key was too long; max key length is 767 byt...
-
看了之后不再迷糊-Spark多種運(yùn)行模式早就想寫這章了，一直懶得動(dòng)筆，不過還好，總算靜下心來完成了。 剛接觸Spark時(shí)，很希望能對它的運(yùn)行方式有個(gè)直觀的了解，而Spark同時(shí)支持多種運(yùn)行模式，官網(wǎng)和書籍中對他們的...
-
centos6.5安裝postgresql9.3及數(shù)據(jù)遷移最近來了一批數(shù)據(jù)，其中有一部分是一個(gè)從postgresql導(dǎo)出的sql文件，大概有7個(gè)多G，需要把數(shù)據(jù)整合到Mysql里邊做進(jìn)一步處理，網(wǎng)上搜了一些方式好多是要修改這個(gè)sql...
-
Spark之thriftserver/beeline的使用
啟動(dòng)thriftserver: 默認(rèn)端口是10000 ，可以修改 啟動(dòng)beelinebeeline -u jdbc:hive2://localhost:10000 -n ha...
-
es設(shè)置max_result_window
es設(shè)置index.max_result_window（就是from+size,默認(rèn)大小10000），可通過如下方式修改： curl -XPUT 192.168.40.31:...
-
elasticsearch通配符和正則表達(dá)式查詢
通配符（wildcard）和正則表達(dá)式查詢（regexp），相關(guān)的還有prefix前綴查詢(前綴查詢我們這里用不到，不做過多說明)，他們都是底層基于詞的查詢，注意事基于詞的，...
-
Flume部署及使用Flume是一個(gè)分布式的、高可靠的、高可用的用于高效收集、聚合、移動(dòng)大量日志數(shù)據(jù)的框架（Flume is a distributed, reliable, and avail...
