Linux學(xué)習(xí)1

基本命令
tar -tf 文件 查看歸檔文件的內(nèi)容
tar -rf xxx 追加文件到tar中
xarge 將管道輸出內(nèi)容合并成一行數(shù)據(jù)，使用空格分隔
find. | grep txt | cp 'xarge' kk ' '是按照命令執(zhí)行 也是命令的嵌套
mount 掛載外設(shè)
光驅(qū)的掛載
將設(shè)備掛載到一個(gè)目錄下
mount /dev/cdrom /mnt/cdrom 下
解除掛載
unmount /dev/cdrom
basename
輸出文件的基本名稱（去除目錄的那部分）
echo $(hostname) 類似于 echo hostname 都是進(jìn)行動(dòng)態(tài)執(zhí)

行的
ctrl +alt +f6 開啟一個(gè)新的會(huì)話命令行
做一個(gè)鏈接到bin目錄下 這個(gè)鏈接叫 mybin
In -s /bin mybin
它的物理位置在 bin
當(dāng)前目錄是mybin 先出去
然后 cd -p mybin 進(jìn)到bin目錄下
輸出環(huán)境變量
echo $evn_name 輸出環(huán)境變量名稱
echo ${evn_name}
echo “$evn_name”
echo ‘$evn_name’錯(cuò)的
export mypath=/home/ubuntu 導(dǎo)入環(huán)境變量 這種導(dǎo)入只在當(dāng)前

會(huì)話中有效
path 環(huán)境變量用:
export mypath=${PATH}:/home/ubuntu
echo $mypath
刪除環(huán)境變量
export youpath=
basename
輸出文件的基本名稱（去除目錄的那部分）
echo $(hostname) 類似于 echo hostname 都是進(jìn)行動(dòng)態(tài)執(zhí)

行的
ctrl +alt +f6 開啟一個(gè)新的會(huì)話命令行
做一個(gè)鏈接到bin目錄下 這個(gè)鏈接叫 mybin
In -s /bin mybin
它的物理位置在 bin
當(dāng)前目錄是mybin 先出去
然后 cd -p mybin 進(jìn)到bin目錄下
輸出環(huán)境變量
echo $evn_name 輸出環(huán)境變量名稱
echo ${evn_name}
echo “$evn_name”
echo ‘$evn_name’錯(cuò)的
export mypath=/home/ubuntu 導(dǎo)入環(huán)境變量 這種導(dǎo)入只在當(dāng)前

會(huì)話中有效
path 環(huán)境變量用:
export mypath=${PATH}:/home/ubuntu 三元運(yùn)算符

3hadoop 集群搭建

centos 中 java jdk的安裝
http://download.csdn.net/download/janehlp/9605681

  • 1、rpm -qa | grep Java 命令來查詢出系統(tǒng)自帶的jdk
image.png

2、rpm -e --nodeps 后面跟系統(tǒng)自帶的jdk名 這個(gè)命令來刪除系統(tǒng)自帶的jdk

image.png

3、進(jìn)入local目錄之后 通過 mkdir java 命令來創(chuàng)建java目錄存放自己的jdk
4、創(chuàng)建好之后，進(jìn)入java目錄 cd java
5導(dǎo)入jdk壓縮包

  • （1） yum -y install lrzsz
    命令安裝這個(gè)插件
    安裝插件完成之后輸入 rz 命令然后按回車，就會(huì)彈出一個(gè)窗口，然后你就在這個(gè)窗口找到你下載好的jdk
    注：使用 rz 命令的好處就是你在哪里輸入rz導(dǎo)入的安裝包他就在哪里，不會(huì)跑到根目錄下
  • （2）用工具 Xftp 導(dǎo)入
    傳輸完成之后 ll 命令 查看
image.png

6、用
tar -zxvf jdk-8u11-linux-x64.tar.gz 命令解壓
7、通過 rm -f jdk-8u11-linux-x64.tar.gz 刪除安裝包
8、通過 vim /etc/profile 命令打開 profile 文件盤配置環(huán)境變量

打開之后按 i 進(jìn)入 insert （插入）模式，在文件末尾添加上環(huán)境變量

export JAVA_HOME=/usr/local/java/jdk1.8.0_11
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

9、用：wq 命令 保存
source /etc/profile 命令使剛才配置的環(huán)境變量生效
10、測(cè)試jdk

image.png

11、通過 java -version命令來查看你安裝的jdk信息


image.png

jdk安裝成功
tomcat的安裝
1、導(dǎo)入tomcat安裝包 到指定的路徑
2、解壓tomcat安裝包
3、啟動(dòng)tomcat
　進(jìn)入tomcat服務(wù)器的bin目錄，然后執(zhí)行"./startup.sh"命令啟動(dòng)Tomcat服務(wù)器
4、關(guān)閉tomcat
　進(jìn)入tomcat服務(wù)器的bin目錄，然后執(zhí)行"./shutdown.sh"命令關(guān)閉Tomcat服務(wù)器

偽分布式的搭建

1、關(guān)閉 防火墻 啟動(dòng) ssh
2、配置靜態(tài)ip
準(zhǔn)備工作：
準(zhǔn)備一. 確認(rèn)VMware Network Adapter VMnet8開啟,查看ip地址.
準(zhǔn)備二. 查看虛擬機(jī)設(shè)置,確保虛擬機(jī)Centos的網(wǎng)絡(luò)配置是NAT,

image.png
image.png

設(shè)置靜態(tài)IP
一般來說如果centos6.8沒有網(wǎng)卡eth0配置文件，到網(wǎng)卡配置目錄/etc/sysconfig/network-scripts/下面都會(huì)有一個(gè) ifcfg-lo 回環(huán)接口配置文件，拷貝一份
命令為：
Cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ ifcfg-eth0

然后編輯eth0文件，將內(nèi)容改為如下格式（標(biāo)紅的信息改為本機(jī)自定義的網(wǎng)段，IPADDR自定義最后一位范圍一般在3~254）

DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.138
NETMASK=255.255.255.0
NETWORK=192.168.80.0
BROADCAST=192.168.80.255
DNS1=114.114.114.114
DNS2=8.8.8.8
GATEWAY=192.168.80.2
IPV6INIT=yes
IPV6_AUTOCONF=yes
我的設(shè)置
DEVICE=eth0
IPADDR=192.168.119.132
NETMASK=255.255.255.0
NETWORK=192.168.119.132

If you're having problems with gated making 127.0.0.0/8 a martian,

you can change this to something else (255.255.255.255, for example)

BROADCAST=192.168.119.255
ONBOOT=yes
NAME=loopback
BOOTPROTO=static
DNS1=114.114.114.114
DNS2=8.8.8.8
GATEWAY=192.168.119.132
IPV6INIT=yes
IPV6_AUTOCONF=yes

  • DEVICE=eth0 #描述網(wǎng)卡對(duì)應(yīng)的設(shè)備別名
    BOOTPROTO=static #設(shè)置網(wǎng)卡獲得ip地址的方式，可能的選項(xiàng)為static，dhcp或bootp，分別對(duì)應(yīng)靜態(tài)指定的 ip地址，通過dhcp協(xié)議獲得的ip地址，通過bootp協(xié)議獲得的ip地址
    BROADCAST=192.168.182.255 #對(duì)應(yīng)的子網(wǎng)廣播地址,保持在同一個(gè)網(wǎng)段,末尾是255
    ONBOOT=yes
    IPADDR=192.168.182.100 #設(shè)置自己喜歡的ip地址,保持在同一個(gè)網(wǎng)段
    NETMASK=255.255.255.0 #網(wǎng)卡對(duì)應(yīng)的網(wǎng)絡(luò)掩碼
    GATEWAY=192.168.182.2 #保持在同一網(wǎng)段,末尾設(shè)置為2
    DNS1=192.168.182.2 #DNS1服務(wù)器的地址，保持在同一網(wǎng)段,末尾設(shè)置為2.
    重新啟動(dòng)網(wǎng)絡(luò)

chkconfig NetworkManager off
chkconfig network on
service NetworkManager stop
service network start
配置主機(jī)名
vi /etc/sysconfig/network

加入hostname=hadoop-master
配置host文件
vi /etc/hosts
192.168.80.138 hadoop-master
添加hadoop用戶用于操作hadoop
hadoop的操作和配置盡量避免使用root用戶
添加用戶 hadoop；
修改hadoop密碼
passwd hadoop
刪除用戶hadoop:
userdel hadoop
刪除用戶以及用戶目錄：
userdel -f hadoop
配置 ssh免密登錄
現(xiàn)在需要從Host A通過ssh登錄到Host A上
在HostA上執(zhí)行
ssh-keygen –t rsa
一直回車就能生成SSH的私鑰和公鑰 id_rsa和id_rsa.pub
導(dǎo)入公鑰到認(rèn)證文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  • 注意要把~/.ssh和authorized_keys的權(quán)限進(jìn)行修改。注意這里一定要改，否則不能成功。
    chmod 600 ~/.ssh/authorized_keys
    chmod 700 ~/.ssh/
    安裝jdk 我已安裝
    安裝hadoop
    1、上傳hadoop到虛擬機(jī)的/home/hadoop/app目錄
    2、解壓hadoop
    3、配置hadoop所使用的環(huán)境變量
    Vi ~/.bashrc
    將以下內(nèi)容添加到文件末尾
    export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    配置hadoop
    配置hadoop目錄下的etc/hadoop目錄下的
    hadoop-env.sh、yarn-env.sh、mapred-env.sh
    將#export JAVA_HOME=/xxxxx
    改為export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144
    配置hadoop目錄下的etc/hadoop目錄下的
    Slaves文件將里面的內(nèi)容改為hadoop-master
    配置hadoop目錄下的etc/hadoop目錄下
    core-site.xml、hdfs-site.xml文件、mapred-site.xml、yarn-site.xml
    core-site.xml
    在
    <configuration>
    </configuration>

標(biāo)簽內(nèi)添加

<property>
      <name>fs.default.name</name>
      <value>hdfs://hadoop-master:9000/</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop/hadooptmp</value>
</property>

hdfs-site.xml文件
在
<configuration>
</configuration>

標(biāo)簽內(nèi)添加

<property>
     <name>dfs.name.dir</name>
     <value>/home/hadoop/hadoop/hdfs/name</value>
 </property>
 <property>
     <name>dfs.data.dir</name>
     <value>/home/hadoop/hadoop/hdfs/data</value>
 </property>
 <property>
     <name>dfs.replication</name>
     <value>1</value>
 </property>

mapred-site.xml文件
該目錄下沒有mapred-site.xml文件但是有mapred-site.xml.template模板文件
可復(fù)制該文件并命名為mapred-site.xml
Cp /home/hadoop/app/hadoop-2.6.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop-2.6.5/etc/hadoop/mapred-site.xml

編輯 mapred-site.xml在
<configuration>
</configuration>

標(biāo)簽內(nèi)添加

<property>
     <name>mapred.job.tracker</name>
     <value>hadoop-master:9001</value>
  </property>
  <property>
     <name>mapred.local.dir</name>
     <value>/home/hadoop/hadoop/mapred/local</value>
  </property>
  <property>
     <name>mapred.system.dir</name>
     <value>/home/hadoop/hadoop/mapred/system</value>
  </property>

yarn-site.xml
在
<configuration>
</configuration>

標(biāo)簽內(nèi)添加

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop-master</value>  
  </property>  
  <property>  
     <name>yarn.nodemanager.aux-services</name>  
     <value>mapreduce_shuffle</value>
  </property>

測(cè)試hadoop
第一步：格式化hdfs文件系統(tǒng)：
hadoop namenode –format

image.png

第二步：進(jìn)入hadoop目錄下的sbin中啟動(dòng)，執(zhí)行如下命令：

image.png

查看啟動(dòng)的java進(jìn)程

image.png

在瀏覽器中查看hdfs的健康狀態(tài)
[http://192.168.80.138:50070/]

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 簡(jiǎn)述 hadoop 集群一共有4種部署模式，詳見《hadoop 生態(tài)圈介紹》。HA聯(lián)邦模式解決了單純HA模式的性能...
    mtide閱讀 13,484評(píng)論 8贊 20
  • 1 目的將hadoop 2.7.1 安裝到 166、167、168 三臺(tái)機(jī)器上2 提供環(huán)境練習(xí)環(huán)境192.168....
    灼灼2015閱讀 3,623評(píng)論 4贊 40
  • 簡(jiǎn)述 hadoop 集群一共有4種部署模式，詳見《hadoop 生態(tài)圈介紹》。HA模式的集群里面會(huì)部署兩臺(tái)NN（最...
    mtide閱讀 7,537評(píng)論 0贊 10
  • 之前的有點(diǎn)忘記了,這里在云筆記拿出來再玩玩.看不懂的可以留言 大家可以嘗試下Ambari來配置Hadoop的相關(guān)環(huán)...
    HT_Jonson閱讀 3,195評(píng)論 0贊 50
  • 首先，我們?cè)谑褂们跋瓤纯碒DFS是什麼？這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,456評(píng)論 0贊 2

友情鏈接更多精彩內(nèi)容