hadoop2.5.2的安裝過程

本篇內容介紹了“hadoop2.5.2的安裝過程”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

 安裝之前，想好自己的安裝順序，我的安裝順序

        1 確定安裝集群的數量和namenode,datanode分配，然后修改對應的osts配置文件

        2 讓集群之間實現ssh無密碼登陸（hadoop集群中，namenode節點需要能夠ssh無密碼訪問datanode節點）

        3 配置詳細環境，主要為jdk包和hadoop包

 本章主要介紹安裝過程，詳細的配置文檔請點擊 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 將集群中的機器添加到hosts中

2 實現SSH無密碼驗證配置
          注：1 hadoop 集群中，nameNode節點，需要能夠ssh 無密碼訪問dataNode節點
                 2 多臺機器需要重復操作 2),3) ,4)過程
      1）首先 nameNode節點生成公鑰
              輸入： ssh-keygen -t rsa 
                生成過程中有三次要求回車（基本全部回車不用設置）
                        1 采用默認文件保存鑰匙
                        2 鍵入密碼短語，如果建立至少5個字符
                        3 重復密碼短語
      2）將生成的密鑰拷貝到daataNode節點中（如果是非root用戶，就是/home下該用戶的主目錄）
               輸入： cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中間要求輸入對應機器的密碼，輸入就行
   3）檢查datanode機器authorized_keys的權限，確保為644（-rw-r--r--），如果不是，則修改權限，命令如下 chmod 644 authorized_keys
4）測試 ssh 192.168.1.101

 3 安裝Jdk
   1） 這是格式為.bin的jdk
       jdk-6u45-linux-i586.bin復制到/usr/java文件夾下,在/usr/java文件夾下執行./jdk-6u45-linux-i586.bin
   2） 常見安裝包為 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打開/etc/profile，在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以執行source profile（在/etc/文件夾下）快速生效
     輸入java -version測試

 4 安裝hadoop
          hadoop-2.5.2
    同jdk安裝，將下載好的hadoop壓縮包解壓
               例：tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同樣在環境變量文件中添加對應的環境變量
      打開/etc/profile，在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   執行source profile（在/etc/文件夾下）快速生效

 5 配置hadoop需要的配置文件

        詳情請看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令將hadoop文件夾拷貝到所有的節點機器相同路徑上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 為文件夾里面所有文件  root為復制電腦的用戶名，后面接的為IP請見上面hosts配置文件，后面跟的是復制到的路徑

 6 要確認防火墻的配置，或者直接關閉

       /etc/init.d/iptables status 本次關閉為  /etc/init.d/iptables stop 其他請百度

 7 啟動測試

      先格式化 namenode  方法為: ./bin/hadoop namenode -format

      如果格式化因為其他問題報錯，或者不是第一次格式化 請將core-site.xml 配置文件中hadoop.tmp.dir tmp文件夾刪除。

    如果輸出出現（基本倒數幾行里面） ： /hadoop-2.5.2/hdfs/name has been successfully formatted  說明成功，報錯就需要自己百度google查找問題

 8 然后將hdfs yarn啟動

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 啟動成功后 可進行瀏覽器訪問

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都沒有問題就說明hadoop和jdk安裝成功。。然后開搞吧

“hadoop2.5.2的安裝過程”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！