怎樣搭建Hadoop集群

這篇文章主要為大家展示了“怎樣搭建Hadoop集群”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“怎樣搭建Hadoop集群”這篇文章吧。

Hadoop集群搭建方式：

                1.1    確定部署三個節點，分別是hadoop0，hadoop1，hadoop2。

                         其中hadoop0是主節點(NameNode、JobTracker、SecondaryNamenode)，hadoop1、hadoop2是從節

                         點(DataNode、TaskTracker)。

                1.2    解壓的Linux鏡像文件，配置Linux初始化環境，參見Hadoop偽分布環境搭建(26)。

                1.3    在hadoop0上刪除/usr/local/hadoop目錄下的logs和tmp文件夾。

                         在刪除之前先要關閉hadoop0上的偽分布的hadoop。操作：stop-all.sh

                1.4    設置各節點之間的ssh免密碼登錄

                         (1)在hadoop1上，把hadoop1上的公鑰復制給hadoop0，執行命令ssh-copy-id -i hadoop0

                         (2)在hadoop2上，把hadoop2上的公鑰復制給hadoop0，執行命令ssh-copy-id -i hadoop0

                         (3)把hadoop0上的authorized_keys復制到hadoop1，hadoop2，執行命令

                                scp    /root/.ssh/authorized_keys    hadoop1:/root/.ssh

                                scp    /root/.ssh/authorized_keys    hadoop2:/root/.ssh

                1.5    在hadoop0上修改文件/etc/hosts，內容修改后如下：

                            192.168.80.100  hadoop0
                            192.168.80.101  hadoop1
                            192.168.80.102  hadoop2

                1.6    復制hadoop0上的/etc/hosts下的配置到其他hadoop1和hadoop2節點。

                1.7    復制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的對于目錄下。

                         scp    -r    /usr/local/jdk        hadoop1:/usr/local

                         scp    -r    /usr/local/jdk        hadoop2:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop1:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop2:/usr/local

                1.8    復制hadoop0上的/etc/profile到hadoop1、hadoop2上。

                         scp    hadoop0:/etc/profile    hadoop1:/etc/profile

                         scp    hadoop0:/etc/profile    hadoop2:/etc/profile

                         并且還要在hadoop1、hadoop2上分別執行source    /etc/profile

                1.9    修改集群的配置信息，修改hadoop0節點的配置信息，其他節點不必修改

                         (1)NameNode節點的位置在配置文件$HADOOP_HOME/conf/core-site.xml中fs.default.name定義的。

                         (2)JobTracker節點的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定

                             義的。

                         (3)SecondaryNameNode節點的位置在配置文件$HADOOP_HOME/conf/masters定義的，內容修改為                                 hadoop0。

                         (4)DataNode和TaskTracker節點的位置在配置文件$HADOOP_HOME/conf/slaves定義的，內容修改為

                              hadoop1、hadoop2。

                1.10    在hadoop0上執行格式化命令hadoop namenode -format

                1.11    在hadoop0上啟動集群，執行命令start-all.sh

                動態增加新的從節點的方法：

                2.1    確定hadoop0作為從節點。

                2.2    修改hadoop0上的slaves文件，增加hadoop0。

                2.3    在hadoop0上啟動DataNode、TaskTracker進程，執行命令：

                                    hadoop-daemon.sh     start    datanode

                                    hadoop-daemon.sh     start    tasktracker

                2.4    在hadoop0上刷新集群節點結構，執行命令

                            hadoop    dfsadmin    -refreshNodes

                3.0    修改副本數

                            hadoop fs -setrep    2     /hello

                4.0    安全模式

                            集群在剛啟動時，會進入安全模式，默認是30秒鐘。

                            在安全模式下，系統對block進行檢查。

                            在安全模式期間，禁止客戶端的create、delete操作。

                            hadoop    dfsadmin    -safeMode    leave | get | enter

以上是“怎樣搭建Hadoop集群”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！