版本選擇
java1.8
scala2.11.12
spark 2.4.3
hadoop 2.7.3
hadoop在windows下運(yùn)行插件winutil
scala環(huán)境配置
todo
spark環(huán)境配置
打開 File -> Project Structure，按下圖選擇上面下載的sprak下的jar包，一路點(diǎn)擊后選擇 Apply 后可看到右側(cè)出現(xiàn)了對(duì)應(yīng)的包
image
image
【參考文獻(xiàn)】
http://www.itdecent.cn/p/ec31dc3b6c0f
hadoop-2.7.3解壓失敗解決辦法：
1、解壓文件出錯(cuò)，如下信息：
D:\hadoop-2.7.3.tar.gz: 無法創(chuàng)建符號(hào)鏈接 D:\hadoop-2.7.3\lib\native\libhadoop.so
2、失敗原因：
客戶端沒有所需的特權(quán)。
您可能需要以管理員身份運(yùn)行 WinRAR
3、解決方式如下：
WIN + R快捷的打開命令窗口，輸入CMD
輸入：cd /d D:\hadoop-2.7.3
這是我的文件夾
然后再輸入：start winrar x -y hadoop-2.7.3.tar.gz
也就是調(diào)用了winrar 解壓了我需要解壓的壓縮包——“hadoop-2.7.3.tar.gz”
然后就順利的解壓成功了。
【參考文獻(xiàn)】
https://blog.csdn.net/ruangaoyan/article/details/100154959
屏蔽spark程序的info日志
【參考文獻(xiàn)】
https://blog.csdn.net/qq_21918145/article/details/86545261
