將hadoop2.7.1打包下載

上傳到需要安裝的服務器上，解壓（pwd顯示目錄）

Zip文件的解壓不能使用tar，要使用unzip

[root@master ~]# unziphadoop-mapreduce-wyz-projects.zip

解壓hadoop壓縮包

tar -xvf curr_hadoop.tar

解壓后就自動到了hadoops目錄下

刪除目錄下的壓縮包：rm -rf hadoop-2.7.1.tar.gz

Hadoop目錄在cd/opt/hadoops/Hadoop-2.7.1/etc/hadoop下

cat slaves查看slave集群

然后ping slave1和slave2

分別都能ping通

Hadoop2.7.1目錄下的sbin目錄中存放著各種.sh文件

[root@master sbin]# ./stop-all.sh在目錄下執(zhí)行./stop-all.sh停止所有的進程

Free –g查看內存

接下來跑配置ssh免密碼登錄

Ifconfig命令：查看本地的網(wǎng)卡信息如下—ifconfig

Hostname查看主機名稱slave2

1、在每臺服務器上都執(zhí)行ssh-keygen

-t rsa生成密鑰對:

#ssh-keygen -t rsa

2、在每臺服務器上生成密鑰對后，將公鑰復制到需要無密碼登陸的服務器上：

舉例如192.168.15.240，192.168.15.241，192.168.15.242這三臺服務器需要做相互免密碼登陸，在每臺服務器生成密鑰對后，在每臺服務器上執(zhí)行ssh-copy-id命令（具體說明及用法見最后附錄），將公鑰復制到其它兩臺服務器上(此處以192.168.15.240為例，用戶為root,其它兩臺步驟相同）

#ssh-copy-id -i? ~/.ssh/id_rsa.pubroot@192.168.15.241

#ssh-copy-id -i? ~/.ssh/id_rsa.pubroot@192.168.15.242

以上命令，可以自動將公鑰添加到名為authorized_keys的文件中，在每臺服務器都執(zhí)行完以上步驟后就可以實現(xiàn)多臺服務器相互無密碼登陸

2、

C:\Windows\System32\drivers\etc目錄下hosts修改：添加需要的集群信息

History|more查看所有的歷史命令

當天的所有命令：

開始配置mvn

和maven的環(huán)境變量：

Maven的配置前面也是壓縮、太欣在.10上把maven文件壓縮

[root@data-m opt]# tar -cvfapache-maven-3.2.1.tar apache-maven-3.2.1/

壓縮完畢后，把壓縮包下載下來，上傳到需要安裝的服務器上，緊接著，太欣查看了.10環(huán)境變量配置情況：

[root@data-m opt]# cat/etc/profile.d/custom.sh

然后，把maven的環(huán)境變量配置情況拷貝出來，放到需要配置的服務器的/etc/profile目錄下

然后放進去就可以了

最后是執(zhí)行和運行mapreduce程序，在eclipse中編寫好之后：壓縮=>上傳=>解壓=>配置環(huán)境變量運行（本地的文件存放在D:\git\voole-stat\stat-projects\hadoop-projects）

把數(shù)據(jù)放到該目錄下

[root@master ~]# cd /opt/soft/statproject/

[root@master statproject]# ll

文件上傳到該stat目錄下的hadoop projects目錄下，開始執(zhí)行（注：必須放在指定的目錄下，由于依賴關系的限制，放在哪兒里看這兒）

把整個工程上傳上去了，然后初始化sh install.sh

關于初始化：

[root@master hadoop-2.7.1]# mvn –v

查看maven的相關版本號

[root@master hadoop-2.7.1]# hadoop fs -ls /

查看hadoop下面的目錄信息

[root@master hadoop-2.7.1]# cd /opt/

[root@master opt]# ll

然后進入到soft目錄下，進入到soft目錄下的stat-projects目錄下

最后install.sh

[root@data-m ~]# cd /opt/soft/

[root@data-m soft]# cd stat-project/