中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop 2.x常用端口及查看方法

發布時間:2020-10-23 21:56:50 來源:網絡 閱讀:8745 作者:街角守望妳 欄目:大數據

一、常用端口

組件節點默認端口配置用途說明
HDFSDataNode50010dfs.datanode.addressdatanode服務端口,用于數據傳輸
HDFSDataNode50075dfs.datanode.http.addresshttp服務的端口
HDFSDataNode50475dfs.datanode.https.addresshttps服務的端口
HDFSDataNode50020dfs.datanode.ipc.addressipc服務的端口
HDFSNameNode50070dfs.namenode.http-addresshttp服務的端口
HDFSNameNode50470dfs.namenode.https-addresshttps服務的端口
HDFSNameNode8020fs.defaultFS接收Client連接的RPC端口,用于獲取文件系統metadata信息。
HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服務
HDFSjournalnode8480dfs.journalnode.http-addressHTTP服務
HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController,用于NN HA
YARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口
YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler組件的IPC端口
YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPC
YARNResourceManager8033yarn.resourcemanager.admin.addressIPC
YARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服務端口
YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC
YARNNodeManager8042yarn.nodemanager.webapp.addresshttp服務端口
YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口
YARNJobHistory Server10020mapreduce.jobhistory.addressIPC
YARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服務端口
HBaseMaster60000hbase.master.portIPC
HBaseMaster60010hbase.master.info.porthttp服務端口
HBaseRegionServer60020hbase.regionserver.portIPC
HBaseRegionServer60030hbase.regionserver.info.porthttp服務端口
HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode,使用獨立的ZooKeeper集群則不會啟用該端口。
HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode,使用獨立的ZooKeeper集群則不會啟用該端口。
HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode,使用獨立的ZooKeeper集群則不會啟用該端口。
HiveMetastore9083/etc/default/hive-metastore中export PORT=<port>來更新默認端口
HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認端口
ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>對客戶端提供服務的端口
ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分follower用來連接到leader,只在leader上監聽該端口。
ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分用于leader選舉的。只在electionAlg是1,2或3(默認)時需要。

所有端口協議均基于TCP。

部分端口說明參見:http://blog.csdn.net/xiaolang85/article/details/8647602

 

二、查看方法

對于 NameNode 和 DataNode 可通過如下Web頁面查看其信息:

I. NameNode: http://{NameNodeServer}:50070/

/dfshealth.jsp  HDFS信息頁面,其中有鏈接可以查看文件系統

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)  顯示DEAD或LIVE狀態的datanode

/fsck  運行fsck命令,不推薦在集群繁忙時使用!

II. DataNode: http://{DataNodeServer}:50075/

/blockScannerReport  每個datanode都會指定間隔驗證塊信息

III. 對于 NameNode 和 DataNode 都存在如下 Web URL:

/logs  日志文件列表,用于下載和查看

/logLevel  允許你設定log4j的日志記錄級別,類似于hadoop daemonlog

/stacks  所有線程的stack trace,對于debug很有幫助

/jmx  服務端的Metrics,以JSON格式輸出。

/jmx?qry=Hadoop:*會返回所有hadoop相關指標。

/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。  這個請求的處理類:org.apache.hadoop.jmx.JMXJsonServlet

 

三、配置 Eclipse

1. 在 Define Hadoop Location 界面中,對于偽分布式部署且采用缺省配置情況下:

  • Map/Reduce(V2) Master: localhost:50020

  • DFS Master: localhost:8020


向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

紫阳县| 奈曼旗| 思南县| 惠水县| 霍山县| 遂溪县| 内乡县| 瑞金市| 绥棱县| 科技| 阿拉尔市| 广南县| 瑞丽市| 恩施市| 巴彦淖尔市| 云和县| 余庆县| 苏尼特左旗| 轮台县| 株洲县| 易门县| 山东省| 德江县| 镶黄旗| 于都县| 隆子县| 黎城县| 枞阳县| 贵溪市| 弋阳县| 逊克县| 陇川县| 甘德县| 旬邑县| 云龙县| 兴安县| 南昌市| 阜新市| 托里县| 青岛市| 永宁县|