(八)Windows下配置Geospark

Update

2020.6.9: 更新GeoSpark版本到1.3.1, 更新Hadoop版本到2.7.2, 更新Spark到2.3.4, 更新Scala到2.11.x

JDK安裝

  1. 下載地址
    1. 官網(wǎng)下載地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html
    2. 在官網(wǎng)下載時(shí),需要先注冊(cè)oracle網(wǎng)站的賬號(hào),為了方便下載,這里提供一個(gè)百度云下載地址:鏈接:https://pan.baidu.com/s/16T1meL7pWD4Rk2qdmIS6kQ 提取碼:9obn
  2. 下載完成后,直接雙擊安裝,安裝完成后,配置JAVA_HOMEJDK安裝目錄,在將%JAVA_HOME%\bin配置到PATH下,配置CLASSPATH為.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

Maven安裝

  1. 下載地址:http://maven.apache.org/download.cgi

  2. 解壓后,將解壓文件拷貝到任意目錄,然后將maven下面的bin目錄添加到環(huán)境變量

  3. 在命令控制行中輸入mvn -v,如果有提示以下信息,則代表maven安裝成功

    Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00)
    Maven home: D:\Program Files\Java\apache-maven-3.6.1\bin\..
    Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: D:\Program Files\Java\jdk1.8.0_181\jre
    Default locale: zh_CN, platform encoding: GBK
    OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
    

Scala安裝

  1. 下載地址: https://www.scala-lang.org/download/2.11.12.html
  2. scala安裝很簡(jiǎn)單,直接雙擊下載好的msi文件,scala會(huì)自動(dòng)配置環(huán)境變量。

Hadoop安裝

  1. 下載地址:
    1. https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
    2. winutil.exe下載:https://github.com/steveloughran/winutils,選擇hadoop-2.7.1即可。
  2. 解壓后,配置環(huán)境變量,設(shè)置HADOOP_HOME為Hadoop的解壓目錄,然后再設(shè)置該目錄下的bin目錄到系統(tǒng)變量的PATH下。
  3. 將下載winutils.exe復(fù)制到hadoop的bin目錄下完成安裝。

Spark安裝

  1. 下載地址:

    1. https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz](https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz)
  2. 解壓后,配置環(huán)境變量,設(shè)置SPARK_HOME為Spark的解壓目錄,然后再設(shè)置該目錄下的bin目錄到系統(tǒng)變量的PATH下。

  3. 在CMD中輸入spark-shell,若有以下信息提示,則代表成功

    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context Web UI available at http://hwang:4040
    Spark context available as 'sc' (master = local[*], app id = local-1591705705311).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 2.3.4
          /_/
    
    Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181)
    Type in expressions to have them evaluated.
    Type :help for more information.
    

搭建工程

  1. 首先從https://github.com/scially/GeosparkBook將整個(gè)工程下載下來(lái),并解壓
  2. 打開IDEA,選擇Import Project,選擇剛才解壓的目錄,選中Import project from external model,選擇Maven,點(diǎn)擊Next
  3. 勾選Import Maven projects automatically,然后點(diǎn)擊Environment Settings,選擇我們之前安裝的maven目錄,然后一路Next,完成后IDEA會(huì)去自動(dòng)構(gòu)建工程,如果你是第一次開發(fā)Spark相關(guān)應(yīng)用,這個(gè)構(gòu)建時(shí)間會(huì)有點(diǎn)長(zhǎng),因?yàn)镮DEA要去maven中央倉(cāng)庫(kù)拉取依賴,耐心等待即可(需要30分鐘左右)。
  4. 構(gòu)建完成后,打開cn.dev下面的任意一個(gè)類,點(diǎn)擊main函數(shù)左邊的執(zhí)行按鈕,若運(yùn)行成功,則代表環(huán)境配置成功。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容