hadoop2.6.0-cdh5.7.0編譯方法是什么

這篇文章主要講解了“hadoop2.6.0-cdh5.7.0編譯方法是什么”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“hadoop2.6.0-cdh5.7.0編譯方法是什么”吧！

一、軟件包：snappy-1.1.3.tar.gz

二、安裝依賴包：
yum -y install snappy libsnappy-dev
yum -y install bzip2 libbz2-dev
yum -y install libjansson-dev

三、bzip2壓縮支持：
yum install -y  bzip2-devel
rpm -qa bzip2-devel
注：bizip2的的本地壓縮支持無效，整個編譯過程，并沒有出現任何錯誤，或異常，而且去cenots下的lib64位目錄下，查看libbz2的so文件，發現也正常。安裝bzip2-devel庫支持，然后重新編譯我們的hadoop即可。

四、安裝snappy：
# tar xf snappy-1.1.3.tar.gz
# cd snappy-1.1.3
# ./configure
# make && make install
查看snappy是否安裝完成：
# ll /usr/local/lib/ | grep snappy
五、編譯hadoop：mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
或
mvn clean package -DskipTests -Pdist,native -Dtar
注：必須在編譯時加入native

六、配置hadoop的core-site.xml、mapred-site.xmlvi core-site.xml

    io.compression.codecs
   
      org.apache.hadoop.io.compress.GzipCodec,
      org.apache.hadoop.io.compress.DefaultCodec,
      org.apache.hadoop.io.compress.BZip2Codec,
      org.apache.hadoop.io.compress.SnappyCodec
   
vi mapred-site.xml
 
    mapreduce.map.output.compress.codec 
    org.apache.hadoop.io.compress.SnappyCodec 
 

編譯完成后，將生成hadoop中的native目錄下文件拷貝到對應hadoop安裝目錄下的native目錄中，并重啟hadoop。執行hadoop checknative驗證

感謝各位的閱讀，以上就是“hadoop2.6.0-cdh5.7.0編譯方法是什么”的內容了，經過本文的學習后，相信大家對hadoop2.6.0-cdh5.7.0編譯方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！