中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

hadoop2.7.0如何升級到2.7.1

發布時間:2021-12-08 10:44:13 來源:億速云 閱讀:145 作者:小新 欄目:云計算

這篇文章給大家分享的是有關hadoop2.7.0如何升級到2.7.1的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。

使用過程中,發現hadoop的YARN-3832的bug,2.6.0中已解決,但是2.7.0中又出現了這個bug。

15/09/28 10:22:34 INFO mapreduce.Job: Task Id : attempt_1443364253801_0310_m_000000_0, Status : FAILED
Rename cannot overwrite non empty destination directory /data/hadoop/data/tmp/nm-local-dir/usercache/hadoop/filecache/60
java.io.IOException: Rename cannot overwrite non empty destination directory /data/hadoop/data/tmp/nm-local-dir/usercache/hadoop/filecache/60
        at org.apache.hadoop.fs.AbstractFileSystem.renameInternal(AbstractFileSystem.java:735)
        at org.apache.hadoop.fs.FilterFs.renameInternal(FilterFs.java:236)
        at org.apache.hadoop.fs.AbstractFileSystem.rename(AbstractFileSystem.java:678)
        at org.apache.hadoop.fs.FileContext.rename(FileContext.java:958)
        at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:366)
        at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:62)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)

找了好久,最終確認該問題是hadoop的bug,不是配置出錯。在官網的2.7.1的release中找到了YARN-3832的bug。所以對hadoop進行升級。

從2.7.0升級為2.7.1,升級步驟如下:

1.下載安裝包后,下載native的64位包,替換新版本中的native。

2.修改2.7.1中的配置文件,保持與當前集群配置一致,修改配置文件后,分發到各臺hadoop集群機器的一個臨時目錄中。我的配置文件列表有:core-site.xml、excludes、hadoop-env.sh、hdfs-site.xml、mapred-env.sh、mapred-site.xml、master、slaves、yarn-env.sh、yarn-site.xml

3.停掉hadoop集群。

4.登錄每臺hadoop節點的服務器,先備份hadoop的安裝文件目錄。然后進入hadoop安裝目錄,執行rm -rf bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share

5.將臨時目錄中的2.7.1的hadoop文件拷貝至安裝目錄。

6.執行start-all.sh,啟動hadoop集群,訪問http://localhost:50070/dfshealth.html#tab-overview ,查看hadoop版本是否已更新,查看各節點狀態是否正常。

感謝各位的閱讀!關于“hadoop2.7.0如何升級到2.7.1”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

徐汇区| 景泰县| 泾川县| 九江市| 莱阳市| 长汀县| 泽普县| 永仁县| 鄢陵县| 湾仔区| 集贤县| 沙坪坝区| 莆田市| 延边| 航空| 松江区| 芜湖县| 西林县| 迭部县| 深水埗区| 庄河市| 资讯| 上林县| 鹤壁市| 阳东县| 公安县| 漠河县| 张北县| 景泰县| 五华县| 汤阴县| 麦盖提县| 修武县| 襄汾县| 星座| 娄底市| 宝清县| 孝昌县| 古浪县| 陈巴尔虎旗| 富平县|