Spark開發(fā)測試運行環(huán)境安裝
VirtualBox下載地址
https://www.virtualbox.org/wiki/Downloads
操作系統(tǒng)下載地址
http://mirrors.aliyun.com/
https://mirrors.aliyun.com/centos/6.9/isos/x86_64/
在Windows下安裝CentOS虛擬機，并配置網(wǎng)卡
- 使用課程提供的鏡像：CentOS-6.8-i386-minimal.iso。
- 創(chuàng)建虛擬機：打開Virtual Box，點擊“新建”按鈕；輸入虛擬機名稱為sparkproject1，選擇操作系統(tǒng)為Linux，選擇版本為Red Hat；分配1024MB內(nèi)存；后面所有選項全部用默認的設(shè)置；注意，在Virtual disk file location and size中，一定要自己選擇一個目錄來存放虛擬機文件；最后點擊“create”按鈕，開始創(chuàng)建虛擬機。
- 設(shè)置網(wǎng)卡（橋接網(wǎng)卡）：選擇創(chuàng)建好的虛擬機，點擊“設(shè)置”按鈕，在網(wǎng)絡(luò)一欄中，連接方式中，選擇“Bridged Adapter”，即橋接網(wǎng)卡。
- 安裝CentOS 6.8操作系統(tǒng)：選擇創(chuàng)建好的虛擬機，點擊“開始”按鈕；選擇安裝介質(zhì)（即本地的CentOS 6.8鏡像文件）；選擇第一項開始安裝-Skip-歡迎界面Next-選擇默認語言-Baisc Storage Devices-Yes, discard any data-主機名:sparkproject1-選擇時區(qū)-設(shè)置初始密碼為hadoop-Replace Existing Linux System-Write changes to disk-開始安裝。
- 安裝完以后，會提醒你要重啟一下，就是reboot，reboot就可以了。
配置Linux網(wǎng)卡
- 先臨時性設(shè)置虛擬機ip地址：ifconfig eth0 192.168.1.110，在/etc/hosts文件中配置本地ip到host的映射
- 配置windows主機上的hosts文件：C:\Windows\System32\drivers\etc\hosts，192.168.1.110 sparkproject1
- 使用SecureCRT從windows上連接虛擬機
- 永久性配置CentOS網(wǎng)絡(luò)
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
- 重啟網(wǎng)卡
service network restart
關(guān)閉防火墻
service ip6tables stop
service iptables status
service ip6tables status
chkconfig ip6tablesoff
vi /etc/selinux/config
在win7的控制面板中，關(guān)閉windows的防火墻！如果不關(guān)閉防火墻的話，就怕，可能win7和虛擬機直接無法ping通！
配置DNS服務(wù)器
1、配置DNS服務(wù)器
nameserver 114.114.114.114
ping www.baidu.com
解決無法訪問外網(wǎng)的問題
即使更換了ip地址，重啟網(wǎng)卡，可能還是聯(lián)不通網(wǎng)。那么可以先將IPADDR、NETMASK、GATEWAY給刪除，將BOOTPROTO改成dhcp。然后用service network restart重啟網(wǎng)卡。此時linux會自動給分配一個ip地址，用ifconfig查看分配的ip地址。然后再次按照之前說的，配置網(wǎng)卡，將ip改成自動分配的ip地址。最后再重啟一次網(wǎng)卡。
安裝JDK 1.7
JDK 1.7下載地址
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
1、將jdk-7uXX-linux-i586.rpm上傳到虛擬機中
2、安裝JDK：rpm -ivh jdk-7uXX-linux-i586.rpm
3、配置jdk相關(guān)的環(huán)境變量
vi /etc/profile
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
4、測試jdk安裝是否成功：java -version
scala下載地址
http://www.scala-lang.org/blog/announcements/
安裝spark Standalone
spark下載地址
http://spark.apache.org/downloads.html
1、將spark-1.6.3-bin-hadoop2.6.tgz使用xftp上傳到/usr/local目錄下。
2、解壓縮spark包：tar -zxvf spark-1.6.3-bin-hadoop2.6.tgz
3、重命名spark目錄：mv spark-1.6.3-bin-hadoop2.6 spark
4、修改spark環(huán)境變量
vi /etc/preofile
export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source /etc/preofile
修改spark-env.sh文件
1、cd /usr/local/spark/conf
2、cp spark-env.sh.template spark-env.sh
3、vi spark-env.sh
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
測試環(huán)境
用yarn-client模式提交spark作業(yè)
--class org.apache.spark.example.JavaSparkPi \
--master yarn-client \
--num-executors 1 \
--driver-memory 10m \
--executor-memory 10m \
--executor-cores 1 \
/usr/local/spark/lib/spark-examples-1.6.3-hadoop2.6.jar \
用yarn-cluster模式提交spark作業(yè)
/usr/local/spark/bin/spark-submit \
--class org.apache.spark.example.JavaSparkPi \
--master yarn-cluster \
--num-executors 1 \
--driver-memory 10m \
--executor-memory 10m \
--executor-cores 1 \
/usr/local/spark/lib/spark-examples-1.6.3-hadoop2.6.jar \
安裝第二臺和第三臺虛擬機
1、安裝上述步驟，再安裝兩臺一模一樣環(huán)境的虛擬機。
2、另外兩臺機器的hostname分別設(shè)置為sparkproject2和sparkproject3即可
3、在安裝的時候，另外兩臺虛擬機的centos鏡像文件必須重新拷貝一份，放在新的目錄里，使用各自自己的鏡像文件。
4、虛擬機的硬盤文件也必須重新選擇一個新的目錄，以更好的區(qū)分。
5、安裝好之后，記得要在三臺機器的/etc/hosts文件中，配置全三臺機器的ip地址到hostname的映射，而不能只配置本機，這個很重要！
6、在windows的hosts文件中也要配置全三臺機器的ip地址到hostname的映射。
配置集群ssh免密碼登錄
1、在三臺機器的/etc/hosts文件中，都配置對三臺機器的ip-hostname的映射
2、首先在三臺機器上配置對本機的ssh免密碼登錄
生成本機的公鑰，過程中不斷敲回車即可，ssh-keygen命令默認會將公鑰放在/root/.ssh目錄下
ssh-keygen -t rsa
將公鑰復制為authorized_keys文件，此時使用ssh連接本機就不需要輸入密碼了
cd /root/.ssh
cp id_rsa.pub authorized_keys
3、接著配置三臺機器互相之間的ssh免密碼登錄
使用ssh-copy-id -i spark命令將本機的公鑰拷貝到指定機器的authorized_keys文件中（方便好用）
