zookeeper集群搭建以及hadoop集群部署方法介紹

這篇文章主要講解了“zookeeper集群搭建以及hadoop集群部署方法介紹”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“zookeeper集群搭建以及hadoop集群部署方法介紹”吧！

1：首先，在VM上安裝6臺64位的虛擬機主要是遇到了安裝包的問題以及環境部署的問題。

   以下是自己安裝使用的ISO文件下載地址：

   http://mirrors.sohu.com/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso

   其實我是之前就把這個頁面的所有安裝包都下載下來的，一個個試著去安裝，然后最終選定了無桌面版的，可以再安裝的時候選擇設置，這個過程就是有點耗時間。接下來我分別在每個主機上部署了jdk，maven，git，mysql，openssh-clients,還有把相關的項目部署上去，之歌過程也有點耗時間，接下來我想嘗試寫個ssh腳本自動化安裝測試一下。

   配置環境變量之后，就開始搭建zookeeper集群了，這個集群主要是配合阿里的開源項目dubbo(git下載：https://github.com/alibaba/dubbo)使用，我是使用5臺虛擬機器部署zookeeper集群作為dubbo的注冊中心，這個過程也是比較簡單的，因為關于zookeeper集群的部署以前dubbo的部署網上資料一大把，當然由于在部署zookeeper集群的時候沒有采用腳本部署方式，這個過程也是比較耗時間的，接下來會嘗試腳本部署方式，部署完之后跑了dubbo的demo以前dubbo-admin查看了一下還是OK的，當然由于條件有限沒有繼續深入下去。

2：hadoop的編譯，這個編譯比較繁瑣，自己也是走一步再修改一下，整理了一下，之后發現原來網上有一篇文章記載的步驟跟錯誤跟我在操作的時候沒多大的差異，大概就是以下步驟

首先需要安裝的是：

• maven:maven有版本沖突的問題，確實是這樣的，我機子上面安裝的都是最新的版本，但是都會報錯，之后我下載了3.0.5這個版本之后那個錯誤九消失了。wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz

• yum install gcc-c++

• wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download

     findbugs需要配置環境變量

• wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

• wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

• yum install pkgconfig

• yum install openssl

• yum install openssl-devel

• vi hadoop-common-project/hadoop-auth/pom.xml(增加有加號的)

  </dependency>
      <dependency>
        <groupId>org.mortbay.jetty</groupId>
  +      <artifactId>jetty-util</artifactId>
  +      <scope>test</scope>
  +    </dependency>
  +    <dependency>
  +      <groupId>org.mortbay.jetty</groupId>
        <artifactId>jetty</artifactId>
        <scope>test</scope>
      </dependency>

• 最后就是執行命令：mvn package -DskipTests -Pdist,native -Dtar

  執行以上步驟后，接下來就是漫長的等待了，反正我是至少等待了30分鐘，不過還好最終編譯成功了，接下來的事情就是重復使用scp命令傳輸文件了，關于hadoop+zookeeper集群的搭建網上也有一大堆。

感謝各位的閱讀，以上就是“zookeeper集群搭建以及hadoop集群部署方法介紹”的內容了，經過本文的學習后，相信大家對zookeeper集群搭建以及hadoop集群部署方法介紹這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！