中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

hadoop3.3集群搭建方法

發布時間:2021-07-28 18:18:43 來源:億速云 閱讀:407 作者:chen 欄目:大數據

本篇內容介紹了“hadoop3.3集群搭建方法”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

分布式服務器集群上存儲海量數據并運行分布式分析應用的開源框架,其核心部件是HDFS與MapReduce

概念

  • HDFS 是一個分布式文件系統:引入存放文件元數據信息的服務器namenode和實際存放數據的服務器Datanode,對數據進行分布式儲存和讀取。 

  • MapReduce 是一個計算框架:MapReduce的核心思想是把計算任務分配給集群內的服務器里執行。通過對計算任務的拆分(Map計算/Reduce計算)再根據任務調度器(JobTracker)對任務進行分布式計算。

服務 fsimage:元數據鏡像文件(文件系統的目錄樹。) edits:元數據的操作日志(針對文件系統做的修改操作記錄) NameNode 處理客戶端的讀寫請求;配置副本策略;保存HDFS的元數據信息,比如命名空間信息,塊信息等。當它運行的時候,這些信息是存在內存(保存的fsimage+edits)中的。但是這些信息也可以持久化到磁盤上 SecondaryNameNode 是專門做NameNode 中edits 文件向fsimage 合并數據,然后再發給namenode,防止edits過大的一種解決方案 NodeManager管理一個YARN集群中的每一個節點。比如監視資源使用情況( CPU,內存,硬盤,網絡),跟蹤節點健康等。 ResourceManager是Yarn集群主控節點,負責協調和管理整個集群(所有NodeManager)的資源 DataNode:負責存儲client發來的數據塊block;執行數據塊的讀寫操作。 熱備份:b是a的熱備份,如果a壞掉。那么b馬上運行代替a的工作。 冷備份:b是a的冷備份,如果a壞掉。那么b不能馬上代替a工作。但是b上存儲a的一些信息,減少a壞掉之后的損失。

集群

環境:

  • centos7

  • jdk1.8.0_241 / hadoop-3.3

本文使用的3.3新版本搭建集群(一主兩從)

192.168.41.128   server1
192.168.41.129   server2
192.168.41.130   server3
#禁用selinux
/etc/selinux/config 

#配置免密登錄
 ssh-keygen 
 ssh-copy-id -i .ssh/id_rsa.pub root@server2
 ssh-copy-id -i .ssh/id_rsa.pub root@server3
  1. 安裝jdk 略..

  2. 下載解壓: tar zxvf hadoop-3.3.0.tar.gz

  3. 配置 詳細查閱:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

#Administrators should use the etc/hadoop/hadoop-env.sh and optionally the etc/hadoop/mapred-env.sh and etc/hadoop/yarn-env.sh scripts to do site-specific customization of the Hadoop daemons’ process environment.官網原話,意思要指定JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64

#etc/hadoop/core-site.xml 
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://server1:9000</value>
  </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop-3.3.0/tmp</value>
 </property> 

#etc/hadoop/hdfs-site.xml,指定數據的副本數,小于等于從節點數
 <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>server1:50090</value>
  </property>

#etc/hadoop/yarn-site.xml,yarn配置資源管理器,提供統一的資源管理和調度
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>server1</value>
  </property>

#etc/hadoop/mapred-site.xml,mapreduce的執行引擎
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
  1. 初始化hdfs: bin/hdfs namenode -format

  2. 修改執行角色

#sbin/start-dfs.sh,sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#sbin/start-yarn.sh,sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
  1. 配置從節點 etc/hadoop/works,修改對應主機

  2. 啟動 sbin/start-all.sh

  3. 訪問 http://192.168.41.128:9870/ 即主機+端口可以訪問顯示如下說明成功了 hadoop3.3集群搭建方法

“hadoop3.3集群搭建方法”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

萨迦县| 永安市| 铁岭市| 连江县| 天长市| 盱眙县| 云林县| 重庆市| 济源市| 油尖旺区| 泸州市| 吉首市| 胶州市| 甘德县| 上杭县| 镇远县| 利辛县| 桂阳县| 马关县| 札达县| 永平县| 横山县| 咸阳市| 丹棱县| 会宁县| 汾西县| 宜春市| 句容市| 普陀区| 昔阳县| 右玉县| 车致| 乡城县| 自治县| 平阴县| 仪征市| 张家口市| 佛坪县| 永嘉县| 久治县| 准格尔旗|