【之前一直都是在寫GeoSpark 相關算子以及使用場景的一些簡單說明,但是并沒有提及到如何去安裝GeoSpark。目前我個人經(jīng)常用的編程語言是Scala和Python,所以針對與這兩中語言的安裝方法做出一些指導說明】
- Python安裝
- 符合的Python版本是3.6和3.7;
- 將Pip升級到最新版;
- 執(zhí)行以下安裝命令:
pip install geospark
- 安裝完之后,在使用過程中,你可能需要將geospark中的以下三個包放入到Pyspark目錄下的jars里面,如果再次出現(xiàn)問題,還需要將以下三個包放入到spark目錄下的jars里面。
geo_wrapper_2.11-0.3.0.jar
geospark-1.3.1.jar
geospark-sql_2.3-1.3.1.jar
- 在使用Python編寫的時候,第一步先將以下代碼添加上
import findspark
findspark.init()
結尾:以上就是Python 的安裝方法;
......................................................................................................................................
- Scala的安裝方法:
我用的是Gradle 管理工具,所以只需要在gradle文件中配置以下三個文件就行:
dependencies {
compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.3.3'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.3.3'
compile group: 'org.apache.spark', name: 'spark-streaming_2.11', version: '2.3.2'
compile group: 'org.datasyslab', name: 'geospark', version: '1.3.1' #第一個文件
compile group: 'org.datasyslab', name: 'geospark-sql_2.3', version: '1.3.1' #第二個文件
compile group: 'org.datasyslab', name: 'geospark-viz_2.3', version: '1.3.1' #第三個文件
compile group: 'org.apache.spark', name: 'spark-unsafe_2.11', version: '2.3.3'
}
如果你們采用的Maven 管理工具,那更簡單了:
groupId: org.datasyslab
artifactId: geospark
version: 1.3.2-SNAPSHOT
groupId: org.datasyslab
artifactId: geospark-sql_3.0
version: 1.3.2-SNAPSHOT
groupId: org.datasyslab
artifactId: geospark-viz_3.0
version: 1.3.2-SNAPSHOT
注意:一般來說,如果沒有安裝成功,在運行的時候通常會出現(xiàn)以下錯誤:
Java Package not found