怎么搭建Hadoop環境

本篇內容介紹了“怎么搭建Hadoop環境”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

背景知識

Apache Hadoop

Apache Hadoop軟件庫是一個框架，該框架允許使用簡單的編程模型跨計算機集群對大型數據集進行分布式處理。它旨在從單個服務器擴展到數千臺機器，每臺機器都提供本地計算和存儲。庫本身不是設計用來依靠硬件來提供高可用性，而是旨在檢測和處理應用程序層的故障，因此可以在計算機集群的頂部提供高可用性的服務，而每臺計算機都容易出現故障。

步驟一：安裝JDK

1.執行以下命令，下載JDK1.8安裝包。

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

2.執行以下命令，解壓下載的JDK1.8安裝包。

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

3.執行以下命令，移動并重命名JDK包。

mv java-se-8u41-ri/ /usr/java8

4.執行以下命令，配置Java環境變量。

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.執行以下命令，查看Java是否成功安裝。

java -version

如果返回以下信息，則表示安裝成功。

步驟二：安裝Hadoop

1.執行以下命令，下載Hadoop安裝包。

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

2.執行以下命令，解壓Hadoop安裝包至/opt/hadoop。

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/
mv /opt/hadoop-2.9.2 /opt/hadoop

3.執行以下命令，配置Hadoop環境變量。

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4.執行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5.執行以下命令，測試Hadoop是否安裝成功。

hadoop version

如果返回以下信息，則表示安裝成功。

步驟三：配置Hadoop

1.修改Hadoop配置文件core-site.xml。

• a.執行以下命令開始進入編輯頁面。

vim /opt/hadoop/etc/hadoop/core-site.xml

• b.輸入i進入編輯模式。 c.在節點內插入如下內容。

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

• d.按Esc鍵退出編輯模式，輸入:wq保存退出。

2.修改Hadoop配置文件hdfs-site.xml。
a.執行以下命令開始進入編輯頁面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

b.輸入i進入編輯模式。
c.在節點內插入如下內容。

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

d.按Esc鍵退出編輯模式，輸入:wq保存退出。

步驟四：配置SSH免密登錄

1.執行以下命令，創建公鑰和私鑰。

ssh-keygen -t rsa

2.執行以下命令，將公鑰添加到authorized_keys文件中。

cd .ssh
cat id_rsa.pub >> authorized_keys

步驟五：啟動Hadoop

1.執行以下命令，初始化namenode 。

hadoop namenode -format

2.依次執行以下命令，啟動Hadoop。

依次執行以下命令，啟動Hadoop。

start-yarn.sh

3.啟動成功后，執行以下命令，查看已成功啟動的進程。

jps

4.打開瀏覽器訪問http://<ECS公網IP>:8088和http://<ECS公網IP>:50070，顯示如下界面則表示Hadoop偽分布式環境搭建完成。

“怎么搭建Hadoop環境”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！