前言：比較懶，回頭再分開章節(jié)，如果需要，ctrl+F 搜索吧
第二章：系統(tǒng)配置-java-mysql-rundeck-clouderamanager
1.網(wǎng)絡(luò)配置：
禁用IPV6
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=10.1.23.60
GATEWAY=10.1.2.2
NETMASK=255.255.0.0
DNS1=8.8.8.8
DNS2=8.8.4.4
# vim /etc/resolv.conf
#Generated by NetworkManager
nameserver 8.8.8.8
nameserver 8.8.4.4
/etc/init.d/network restart
修改主機名：
# vim /etc/sysconfig/network
HOSTNAME=bigdata_platform
# hostname bigdata_platform
# vim /etc/hosts
#127.0.0.1? localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1? localhost bigdata_platform localhost4 localhost4.localdomain4
#bash
配置本地 hosts
# C盤 -- Windows -- System32 -- drivers -- etc -- hosts
10.1.23.60? bigdata_platform
設(shè)置用戶最大可打開文件數(shù)，進程數(shù)，內(nèi)存占用
# vim /etc/security/limits.conf
#*? ? ? soft nofile 65536
#*? ? ? hard nofile 65536
*? ? ? ? ? ? ? soft? nofile? 409600
*? ? ? ? ? ? ? hard? nofile? 409600
*? ? ? ? ? ? ? soft? nproc? 409600
*? ? ? ? ? ? ? hard? nproc? 409600
2.添加輸入法
首先查看是否安裝了中文語言支持組件
yum grouplist
3.配置 SSH 免密登錄到 10.1.23.215 （root密碼更新為： Abcd.1234）
10.1.23.60：
#ssh-keygen?-t?rsa?-P?''
# chmod u+xid_rsa.pub
# scp id_rsa.pub 10.1.23.215:/root/.ssh/
10.1.23.215:
# cat?id_rsa.pub?>>?.ssh/authorized_keys
4.修改 本機 語言顯示
echo?$LANG 查看當(dāng)前語言
locale 查看是否有中文包
yum -y ?groupinstall?chinese-support 沒有的話安裝
vim /etc/sysconfig/i18n
修改成 LANG="zh_CN.UTF-8"
解析：
1）請確認(rèn)你的系統(tǒng)安裝了中文語言包，Centos6.4在選擇basic server的地方的最下面有個附加項，有個單選叫現(xiàn)在定制，進去里面選擇語言包，全球語言都在，如果沒有這樣選，默認(rèn)沒有安裝中文語言包，你再設(shè)置系統(tǒng)語言為UTF8還是GBK等都是沒用的。。
2）確認(rèn)安裝了語言包，除了設(shè)置系統(tǒng)語言，還要設(shè)置環(huán)境變量，/etc/profile中的LANG.否則照樣無效
3）linux在特殊模式下，比如救援模式，是不會加載語言包的，即使你安裝了中文包（親測）。
4）顯示方框，一般是缺失語言包，因為亂碼有兩種，亂碼和問號，亂碼則是UTF8編碼使用GBK解碼的亂碼，問號則是黑洞，意思是沒有編碼格式來顯示這種字體，則系統(tǒng)默認(rèn)將其編碼為FFFFF，轉(zhuǎn)換后也就是???。。。而在LINUX的命令行，？都給顯示成了方框。。
http://www.cnblogs.com/CherishU/p/3400448.html
不過fbterm 的下載地址換了：
fbterm 參考網(wǎng)址：
http://www.cnblogs.com/CherishU/p/3400448.html
http://blog.csdn.net/flytreeleft/article/details/6679638
注意：fbterm? 可以使電腦終端顯示中文
其配置文件在： ~/.fbtemrc
字體目錄在： /usr/share/fonts
然后 下載輸入法的7Z格式解壓包：
# wgethttps://jaist.dl.sourceforge.net/project/p7zip/p7zip/16.02/p7zip_16.02_src_all.tar.bz2
5.關(guān)閉防火墻
（1）永久關(guān)閉SELinux（否則samba可能不能訪問）
修改配置文件
# vi /etc/selinux/config
將SELINUX=enforcing改為SELINUX=disabled
需要重啟機器生效??！
（2）關(guān)閉防火墻
開啟： chkconfig iptables on
關(guān)閉： chkconfig iptables off
6.安裝 rz sz 命令
yum -y install lrzsz
7.上傳jdk包 并解壓
tar -zxf jdk-7u67-linux-x64.gz -C /opt/modules/
刪除linux 自帶openjdk
rpm -qa | grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64
修改 /etc/profile
####################----BASIC------####################
#java? ? ? jdk1.7.0_67
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export JAVA_BIN=$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export CLASSPATH=.:$JAVA_HOME/lib/mysql-connector-java-5.1.26-bin.jar
export PATH=$PATH:$JAVA_HOME/bin
#export JAVA_LIBRARY_PATH=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
將mysql-connector-java-5.1.26-bin.jar 上傳到 $JAVA_HOME/lib/
chmod +x mysql-connector-java-5.1.26-bin.jar
8.安裝mysql
按照mysql安裝教程走，完成操作
9.安裝rundeck
1）調(diào)整java版本
考慮到需要Java8 支持，所以重新安裝java8
上傳jdk包 并解壓
tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/modules/
2）準(zhǔn)備rundeck目錄及映射
mkdir /opt/modules/rundeck-2.9.3
vim /etc/profile
####################-----Rundeck-----######################
#RunDeck
export RDECK_BASE=/opt/modules/rundeck-2.9.3
3）安裝和啟動rundeck
cp rundeck-launcher-2.9.3.jar $RDECK_BASE
cd $RDECK_BASE
java -jar rundeck-launcher-2.9.3.jar
java -XX:MaxPermSize=256m -Xmx1024m -jar rundeck-launcher-2.9.3.jar
等待直到顯示：類似
2017-09-28 18:23:37.711:INFO:oejs.ServerConnector:main: Started ServerConnector@4ad53dc3{HTTP/1.1}{0.0.0.0:4440}
表示啟動成功，但是，這命令一直占著一個窗口，很煩，我就ctrl+c了。此時端口又失效了
不過，我們可以去rundeck的配置文件中啟動即可
啟動
$RDECK_BASE/server/sbin/rundeckd start
停止
$RDECK_BASE/server/sbin/rundeckd stop
更新shell環(huán)境：（這兩個不太清楚處理在哪里運行，我放到/etc/profile里，也在環(huán)境中運行了）
PATH=$PATH:$RDECK_BASE/tools/bin
MANPATH=$MANPATH:$RDECK_BASE/docs/man
4）配置mysql數(shù)據(jù)庫
mysql -uroot -p
Abcd1234
>>create database rundeck;
>>grant ALL on rundeck.* to 'rundeckadmin'@'%' identified by 'Abcd1234';
>>flush privileges;
>>revoke all on rundeck.* from 'rundeckadmin'@'%'; -此為回收權(quán)限
我們rundeck繼續(xù)
10.修改rundeck配置文件
# vim /opt/modules/rundeck-2.9.3/server/config/rundeck-config.properties
1)配置mysql存儲位置
包括：mysql庫位置，執(zhí)行用戶名及密碼
dataSource.url = jdbc:mysql://10.1.23.60:3306/rundeck?autoReconnect=true
dataSource.username = rundeckadmin
dataSource.password = Abcd1234
#dataSource.url = jdbc:h2:file:/opt/modules/rundeck-2.9.3/server/data/grailsdb;MVCC=true
添加JDBC連接包-檢查是否有mysql鏈接包
# cd /opt/modules/rundeck-2.9.3/server/exp/webapp/WEB-INF/lib
#? ll | grep "mysql"
2）配置郵件發(fā)送
包括：線程數(shù)，郵箱地址，端口，發(fā)件人，密碼
quartz.props.threadPool.threadCount=50
grails.mail.host=smtp.staff.hexun.com #郵箱服務(wù)器
grails.mail.port=25
grails.mail.username=bigdata@staff.hexun.com
grails.mail.password=G#f92bqZhd
grails.mail.props=["mail.smtp.starttls.enable":"true","mail.smtp.port":"25"]#設(shè)置smtp的身份認(rèn)證
grails.mail.default.from=bigdata@staff.hexun.com
feature.incubator.parallelWorkflowStrategy=true
3）配置登錄用戶
# vim /opt/modules/rundeck-2.9.3/server/config/realm.properties
#admin:[re343*q4d,user,admin,architect,deploy,build
#furenjie:QAZ!wsx@123,user,admin
admin:admin,user,admin
user:user,user
dp:dp,user,admin
4）增加 projects? 并配置節(jié)點 默認(rèn)是空的
cd /opt/modules/rundeck-2.9.3/projects/
5）使用rundeck 具體操作見其他手冊 - 略
11.配置 Cloudera manager
參考網(wǎng)址：http://www.cnblogs.com/zhangyin6985/p/7357738.html
我們?yōu)榱俗非笞钕冗M的功能，我們選擇最新版 5.12.0
-----------------------------------------------------------------------------------------------------------------------
需要支持：（這個是CentOS7的版本）
CM版本：cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
CDH版本：5.12.0
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json
JDK1.8:jdk-8u144-linux-x64.tar.gz（已配置）
JDBC驅(qū)動：mysql-connector-java-5.1.35.jar（已準(zhǔn)備）
CM下載網(wǎng)址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
CDH下載網(wǎng)址：
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/latest/manifest.json
cd /opt/softwares/
# wgethttp://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
# wgethttp://archive.cloudera.com/cdh5/parcels/latest/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
# wgethttp://archive.cloudera.com/cdh5/parcels/latest/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
# wgethttp://archive.cloudera.com/cdh5/parcels/latest/manifest.json
------------------------------------------------------------------------------------------------
以上為版本選錯了。
推薦安裝網(wǎng)址：http://www.mamicode.com/info-detail-1980118.html
需要支持：
CM版本：cloudera-manager-el6-cm5.12.0_x86_64.tar.gz
CDH版本：5.12.0
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel
CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1
manifest.json
JDK1.8:jdk-8u144-linux-x64.tar.gz（已配置）
JDBC驅(qū)動：mysql-connector-java-5.1.40-bin.jar（已準(zhǔn)備）
CM下載網(wǎng)址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.0_x86_64.tar.gz
CDH下載網(wǎng)址：http://archive.cloudera.com/cdh5/parcels/latest/= 最新版
http://archive.cloudera.com/cdh5/parcels/5.12.0/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.12.0/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.12.0/manifest.json
# cd /opt/softwares/
# wgethttp://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.0_x86_64.tar.gz
# wgethttp://archive.cloudera.com/cdh5/parcels/5.12.0/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel
# wgethttp://archive.cloudera.com/cdh5/parcels/5.12.0/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1
# wgethttp://archive.cloudera.com/cdh5/parcels/5.12.0/manifest.json
以下操作均為管理員權(quán)限：
11.0 網(wǎng)絡(luò)和主機名配置 （已配置，見1）
11.1 配置 SSH （已生成秘鑰，見3）
# cd /root/.ssh/
# cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys
通過scp命令將認(rèn)證文件拷貝到所有其他節(jié)點。(配置集群時)
11.2 安裝java-jdk （已配置，見7）
CentOS自帶OpenJdk，不過運行CDH5需要使用oracle的JDK。
11.3 安裝配置 mysql（已配置，見8）
11.4 關(guān)閉防火墻和SELinux（已配置，見5）
所有節(jié)點都要求
11.5 所有節(jié)點配置NTP服務(wù)(待完成)
集群中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。
所有節(jié)點安裝相關(guān)組件：
# yum -y install ntp
完成后，配置開機啟動：
# chkconfig ntpd on
以列表形式檢查
#chkconfig --list ntpd
開啟服務(wù)：
# service ntpd start
# ntpstat
檢查是否成功，用ntpstat命令查看同步狀態(tài)，出現(xiàn)以下狀態(tài)代表啟動成功：
unsynchronised
time server re-starting
polling server every 8 s
(or)
unsynchronised
polling server every 64 s
11.6正式安裝
解壓安裝 （所有節(jié)點）
# tar -zxf cloudera-manager-el6-cm5.12.0_x86_64.tar.gz -C /opt/
創(chuàng)建cloudera-scm用戶（所有節(jié)點）
# useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
修改 cloudera-scm 的用戶所屬組，增加新的次要組 root
# usermod -a -G root cloudera-scm
調(diào)整用戶權(quán)限
# echo USER=\"cloudera-scm\" >> /etc/default/cloudera-scm-agent
# echo "Defaults secure_path = /sbin:/bin:/usr/sbin:/usr/bin" >> /etc/sudoers
為Cloudera Manager 5建立數(shù)據(jù)庫 并初始化（主節(jié)點）
先將JDBC驅(qū)動 mysql-connector-java-*.jar，放到/opt/cm-5.12.0/share/cmf/lib/中
# cp /opt/softwares/mysql-connector-java-5.1.40-bin.jar /opt/cm-5.12.0/share/cmf/lib/
注意： mysql-connector-java-5.1.40-bin.jar 后面的bin.jar，別下載錯了。【犯過錯】
注意修改屬主chown -R
初始化，生成cm數(shù)據(jù)庫
#/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pAbcd1234 --scm-host localhost scm scm scm
修改agent配置文件（所有節(jié)點）
修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini 中的參數(shù)
# vim /opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini
server_host? ? 為主節(jié)點的主機名 =bigdata_platform
parcel_dir 為parcel路徑 =/opt/cloudera/parcels
準(zhǔn)備Parcels，用以安裝CDH5
# mkdir -p/opt/cloudera/parcels
將CHD5相關(guān)的Parcel包放到主節(jié)點的/opt/cloudera/parcel-repo/目錄中
# cp /opt/softwares/cdh-5.12/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel /opt/cloudera/parcel-repo/
# cp /opt/softwares/cdh-5.12/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1 /opt/cloudera/parcel-repo/
# cp /opt/softwares/cdh-5.12/manifest.json /opt/cloudera/parcel-repo/
重命名 CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1 為 ***.sha
# mv /opt/cloudera/parcel-repo/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha
修改屬主
# mkdir /opt/cm-5.12.0/run/cloudera-scm-agent
# chown -R cloudera-scm:cloudera-scm/opt/cloudera/
# chown -R cloudera-scm:cloudera-scm/opt/cm-5.12.0/
分發(fā)給其他節(jié)點
scp -r -p /opt/cm-5.7.0/ 10.130.2.22:/opt/
11.7大體準(zhǔn)備工作已經(jīng)做完，準(zhǔn)備開始啟動環(huán)境：
先啟動server
# /opt/cm-5.12.0/etc/init.d/cloudera-scm-server start
查看啟動情況
# tail -f /opt/cm-5.12.0/log/cloudera-scm-server/cloudera-scm-server.log
在所有主機上啟動cm agent
# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
查看啟動情況
# tail -f /opt/cm-5.12.0/log/cloudera-scm-agent/cloudera-scm-agent.out
----------------------------------------------------------------------------------------------------------------
然后報錯：Starting cloudera-scm-agent:? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [FAILED]
解決辦法：
查看 log日志
# cd /opt/cm-5.12.0/log/cloudera-scm-agent/
# cat cloudera-scm-agent.out
/usr/bin/env: python2.7: No such file or directory
/usr/bin/env: python2.7: No such file or directory
安裝python環(huán)境
# yum -y install python
再運行，還是不行
我們需要升級centos6.6 的Python環(huán)境，因為默認(rèn)是python2.6.6
具體方法見python 的python2.7升級腳本
查看 cloudera-scm-server log日志
# cd /opt/cm-5.12.0/log/cloudera-scm-server/
# cat cloudera-scm-server.out
報錯：
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
解決辦法：
使用jdk8的時候。字面意思是MaxPermSize不需要我們配置了，所以我就按照它的方法把default VM arguments中MaxPermSize參數(shù)給刪掉就不會出現(xiàn)上面的提示了。
仍然有許多問題未解決
所以，我準(zhǔn)備重新做：初步原因一、版本不同出問題
路徑修改為 /opt/
刪除Cloudera manager
參考網(wǎng)址http://www.cnblogs.com/chenfool/p/3738540.html
查看路徑：
1.#? /usr/share/cmf
2.#? /var/lib/cloudera*
3.#? /var/run/cloudera*
4.#? /var/cache/yum/x86_64/6/cloudera*
5.# /var/log/cloudera*
6.卸載cloudera的rpm包
# rpm -qa | grep cloudera
# for f in `rpm -qa | grep cloudera `? ; do rpm -e ${f} ; done
----------------------------------------------------------------------------------------------------------------------------
設(shè)置 Web 服務(wù)器
4.查看?httpd 服務(wù)和啟動狀況，如果發(fā)現(xiàn)沒有安裝 httpd 服務(wù)，請先安裝?sudo yum -y install httpd
[enmoedu@bigdata_platform softwares]$ rpm -qa | grep httpd
httpd-2.2.15-59.el6.centos.x86_64
httpd-tools-2.2.15-59.el6.centos.x86_64
[root@bigdata_platform softwares]# service httpd status
httpd is stopped
[root@bigdata_platform softwares]# service httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 192.168.80.145 for ServerName [? OK? ]
[root@bigdata_platform softwares]# service httpd status
httpd (pid? 3002) is running...
安裝CDH依賴
# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse? portmap fuse-libs redhat-lsb
----------------------------------------------------------------------------------------------------------------------------
問題1：
service cloudera-scm-server status
cloudera-scm-server dead but pid file exists
解決1
# rm/opt/cm-5.12.0/run/cloudera-scm-server.pid
#/opt/cm-5.12.0/etc/init.d/cloudera-scm-serverrestart
問題2：
WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn‘t exist.
2016-12-08 03:40:57,479 ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: No read permission to the server storage directory [/var/lib/cloudera-scm-server]
2016-12-08 03:40:57,479 ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: No write permission to the server storage directory [/var/lib/cloudera-scm-server]
解決2
# mkdir /var/lib/cloudera-scm-server
# chown -R cloudera-scm.cloudera-scm /var/lib/cloudera-scm-server
問題3：在CDH檢查主機哪里會有兩個警告
解決3：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness
---------------------------------------------------------------------------------------------------------------------------
