(默認(rèn)端口)Hadoop, HBase, Hive, ZooKeeper默認(rèn)端口說明

Hadoop, HBase, Hive, ZooKeeper默認(rèn)端口說明 - 奏樂 - 博客園
http://www.cnblogs.com/hankedang/p/5649414.html

組件 Daemon 端口 配置 說明
HDFS DataNode 50010 dfs.datanode.address datanode服務(wù)端口,用于數(shù)據(jù)傳輸
50075 dfs.datanode.http.address http服務(wù)的端口
50475 dfs.datanode.https.address https服務(wù)的端口
50020 dfs.datanode.ipc.address ipc服務(wù)的端口
NameNode 50070 dfs.namenode.http-address http服務(wù)的端口
50470 dfs.namenode.https-address https服務(wù)的端口
8020 fs.defaultFS 接收Client連接的RPC端口,用于獲取文件系統(tǒng)metadata信息。
journalnode 8485 dfs.journalnode.rpc-address RPC服務(wù)
8480 dfs.journalnode.http-address HTTP服務(wù)
ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController,用于NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口
8030 yarn.resourcemanager.scheduler.address scheduler組件的IPC端口
8031 yarn.resourcemanager.resource-tracker.address IPC
8033 yarn.resourcemanager.admin.address IPC
8088 yarn.resourcemanager.webapp.address http服務(wù)端口
NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
8042 yarn.nodemanager.webapp.address http服務(wù)端口
8041 yarn.nodemanager.address NM中container manager的端口
JobHistory Server 10020 mapreduce.jobhistory.address IPC
19888 mapreduce.jobhistory.webapp.address http服務(wù)端口
HBase Master 60000 hbase.master.port IPC
60010 hbase.master.info.port http服務(wù)端口
RegionServer 60020 hbase.regionserver.port IPC
60030 hbase.regionserver.info.port http服務(wù)端口
HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode,使用獨(dú)立的ZooKeeper集群則不會啟用該端口。
2888 hbase.zookeeper.peerport HBase-managed ZK mode,使用獨(dú)立的ZooKeeper集群則不會啟用該端口。
3888 hbase.zookeeper.leaderport HBase-managed ZK mode,使用獨(dú)立的ZooKeeper集群則不會啟用該端口。
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=<port>來更新默認(rèn)端口
HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認(rèn)端口
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port> 對客戶端提供服務(wù)的端口
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標(biāo)藍(lán)部分 follower用來連接到leader,只在leader上監(jiān)聽該端口。
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標(biāo)藍(lán)部分 用于leader選舉的。只在electionAlg是1,2或3(默認(rèn))時(shí)需要。

所有端口協(xié)議均基于TCP。

對于存在Web UI(HTTP服務(wù))的所有hadoop daemon,有如下url:

/logs
日志文件列表,用于下載和查看

/logLevel
允許你設(shè)定log4j的日志記錄級別,類似于hadoop daemonlog

/stacks
所有線程的stack trace,對于debug很有幫助

/jmx
服務(wù)端的Metrics,以JSON格式輸出。

/jmx?qry=Hadoop:*會返回所有hadoop相關(guān)指標(biāo)。
/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。
這個(gè)請求的處理類:org.apache.hadoop.jmx.JMXJsonServlet

而特定的Daemon又有特定的URL路徑特定相應(yīng)信息。

NameNode:http://:50070/

/dfshealth.jsp
HDFS信息頁面,其中有鏈接可以查看文件系統(tǒng)

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
顯示DEAD或LIVE狀態(tài)的datanode

/fsck
運(yùn)行fsck命令,不推薦在集群繁忙時(shí)使用!

DataNode:http://:50075/

/blockScannerReport
每個(gè)datanode都會指定間隔驗(yàn)證塊信息

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容