Update
2020.6.9: 更新GeoSpark版本到1.3.1, 更新Hadoop版本到2.7.2, 更新Spark到2.3.4, 更新Scala到2.11.x
JDK安裝
- 下載地址
- 官網(wǎng)下載地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html
- 在官網(wǎng)下載時(shí),需要先注冊(cè)oracle網(wǎng)站的賬號(hào),為了方便下載,這里提供一個(gè)百度云下載地址:鏈接:https://pan.baidu.com/s/16T1meL7pWD4Rk2qdmIS6kQ 提取碼:9obn
- 下載完成后,直接雙擊安裝,安裝完成后,配置
JAVA_HOME為JDK安裝目錄,在將%JAVA_HOME%\bin配置到PATH下,配置CLASSPATH為.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
Maven安裝
解壓后,將解壓文件拷貝到任意目錄,然后將maven下面的bin目錄添加到環(huán)境變量
-
在命令控制行中輸入
mvn -v,如果有提示以下信息,則代表maven安裝成功Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00) Maven home: D:\Program Files\Java\apache-maven-3.6.1\bin\.. Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: D:\Program Files\Java\jdk1.8.0_181\jre Default locale: zh_CN, platform encoding: GBK OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
Scala安裝
- 下載地址: https://www.scala-lang.org/download/2.11.12.html
- scala安裝很簡(jiǎn)單,直接雙擊下載好的msi文件,scala會(huì)自動(dòng)配置環(huán)境變量。
Hadoop安裝
- 下載地址:
- https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
- winutil.exe下載:https://github.com/steveloughran/winutils,選擇hadoop-2.7.1即可。
- 解壓后,配置環(huán)境變量,設(shè)置HADOOP_HOME為Hadoop的解壓目錄,然后再設(shè)置該目錄下的bin目錄到系統(tǒng)變量的PATH下。
- 將下載winutils.exe復(fù)制到hadoop的bin目錄下完成安裝。
Spark安裝
-
下載地址:
解壓后,配置環(huán)境變量,設(shè)置SPARK_HOME為Spark的解壓目錄,然后再設(shè)置該目錄下的bin目錄到系統(tǒng)變量的PATH下。
-
在CMD中輸入
spark-shell,若有以下信息提示,則代表成功Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://hwang:4040 Spark context available as 'sc' (master = local[*], app id = local-1591705705311). Spark session available as 'spark'. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.3.4 /_/ Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181) Type in expressions to have them evaluated. Type :help for more information.
搭建工程
- 首先從https://github.com/scially/GeosparkBook將整個(gè)工程下載下來(lái),并解壓
- 打開IDEA,選擇
Import Project,選擇剛才解壓的目錄,選中Import project from external model,選擇Maven,點(diǎn)擊Next - 勾選
Import Maven projects automatically,然后點(diǎn)擊Environment Settings,選擇我們之前安裝的maven目錄,然后一路Next,完成后IDEA會(huì)去自動(dòng)構(gòu)建工程,如果你是第一次開發(fā)Spark相關(guān)應(yīng)用,這個(gè)構(gòu)建時(shí)間會(huì)有點(diǎn)長(zhǎng),因?yàn)镮DEA要去maven中央倉(cāng)庫(kù)拉取依賴,耐心等待即可(需要30分鐘左右)。 - 構(gòu)建完成后,打開cn.dev下面的任意一個(gè)類,點(diǎn)擊main函數(shù)左邊的執(zhí)行按鈕,若運(yùn)行成功,則代表環(huán)境配置成功。