一、配置Spark環(huán)境變量及將jars中 以下jar包拷貝至hive lib目錄中 spark-core_2.12-3.0.0.jar spark-kvstore_2.12-...
IP屬地：上海
-
數(shù)據(jù)倉庫環(huán)境準(zhǔn)備二
-
大數(shù)據(jù)之Spark
spark下載地址:https://archive.apache.org/dist/spark/ 一、配置Spark環(huán)境變量及將jars中 以下jar包拷貝至hive lib...
-
大數(shù)據(jù)之Sqoop
一、配置 1、mv sqoop-env-template.sh sqoop-env.sh 2、sqoop-env.sh添加: export HADOOP_COMMON_HOM...
-
大數(shù)據(jù)之群起腳本
注：啟動群起腳本前給與腳本執(zhí)行權(quán)限:chmod +x 腳本文件名稱 一、zookeeper群起腳本 #!/bin/bash case $1 in "start") { for...
-
數(shù)據(jù)倉庫環(huán)境準(zhǔn)備-Hadoop篇
大數(shù)據(jù)軟件版本說明: hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqoop-1.4.6、hive-3...
-
flume對接kafka
一、flume配置1、kafka.conf #name a1.sources = r1 a1.channels = c1 a1.sinks = k1 #source a1.s...
-
zookeeper配置
一、配置1、conf/zoo.cfg1)修改dataDir目錄:dataDir=/opt/module/zookeeper/zkData2) 添加以下幾個節(jié)點: server...
-
ganglia安裝配置
一、安裝1)安裝httpd服務(wù)與php: sudo yum -y install httpd php2)安裝其他依賴:sudo yum -y install rrdtool ...
-
大數(shù)據(jù)之flume source、interceptor、sink自定義
依賴: <groupId>org.apache.flume flume-ng-core <version>1.9.0</version> 一、interceptor自定義pu...
-
大數(shù)據(jù)之flume
一、安裝netcat工具1、sudo yum install -y nc2、檢查44444端口是否被占用: sudo netstat -tunlp | grep 44444 ...
-
大數(shù)據(jù)之hdfs
一、shell命令 1、移動本地文件至hdfs：hadoop fs -moveFromlocal 本地路徑 存儲路徑2、復(fù)制本地文件至hdfs：hadoop fs -copy...
-
大數(shù)據(jù)之集群規(guī)劃配置范例一、配置 1、配置java_home環(huán)境變量: etc/hadoop/hadoop-env.sh、etc/hadoop/yarn-env.sh 、 mapred-env.sh...
-
大數(shù)據(jù)之集群分發(fā)腳本一、scp、rsync命令 scp -r linan@hadoop101:/opt/module root@hadoop102:/opt/moduler sync-rvl l...
-
大數(shù)據(jù)之環(huán)境搭建
配置環(huán)境: centos 7.6 jdk version:1.8.0_171 hadoop version:2.9.2 主機(jī)1名稱:hadoop101 端口號測試連通...
-
打蛇打七寸，架構(gòu)悟認(rèn)知，亦知海行舟，方悠然自得。
-
移動端UI自動化測試--Appium和Cucumber的完美結(jié)合大綱 1.簡介 在日常開發(fā)中，自動化測試往往是開發(fā)人員比較頭痛的事，特別是UI的自動化測試更是投入大收益小，很多公司情愿多招一個測試人員，也不愿意自己搭建一套UI自動化測試系...
