在idea中使用spark

Spark 是用scala語言實(shí)現(xiàn)的，專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。

安裝scala

  • 所需文件 :
  1. scala-intellij-bin-2016.3.9.zip
  2. hadoop2.6
  3. test1.txt

本文默認(rèn)是idea已經(jīng)可以打開其他maven項(xiàng)目運(yùn)行了。如果你還沒有打開過其他項(xiàng)目，或者沒有配置過JDK,Maven,SVN...請轉(zhuǎn)去 [idea打開maven項(xiàng)目]（http://www.itdecent.cn/writer#/notebooks/15779596/notes/16214599/preview）

  • 1. 在idea中配置plugin，安裝scala

    • 1.1 file->settings->plugins->右側(cè)面板選擇install plugins from disk,選擇
      scala-intellij-bin-2016.3.9.zip 所在路徑,安裝后restart idea
scala插件安裝
  • 1.2 file->Project Structure->libraries->點(diǎn)擊右側(cè)面板，左上方的+紅色按鈕，配置
    Scala SDK，默認(rèn)會彈出選擇Scala jdk 2.10。
Scala SDK
  • 1.3如果彈出框顯示nothing to show，則選擇download ->2.10.6，等待下載完成后，選擇相應(yīng)版本。(等好久 ╮(￣▽￣)╭)
  • 配置完成后，截圖如下：
Scala SDK配置成功

  • 2.配置hadoop

新增系統(tǒng)變量 HADOOP_HOME: hadoop2.6的文件路徑，如：

  HADOOP_HOME:  D:\hadoop2.6

  • 3.檢驗(yàn)是否成功安裝

在spcp-spark項(xiàng)目中，找到HDFSTest.scala ，修改一下代碼中測試文件（test1.txt）的路徑。然后在代碼內(nèi)，run HDFSTest,控制臺打印數(shù)據(jù)，則成功安裝

修改test1.txt路徑
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容