溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“hadoop問題有哪些”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“hadoop問題有哪些”這篇文章吧。
1、hadoop重啟不能找到namenode，可能原因是沒有指定臨時存儲目錄，默認會存儲到root根目錄下的tmp文件中，重啟后會消失，所以在core-site.xml文件中加入臨時文件配置即可！
2、hadoop格式化會詢問yes or no，yes大寫！
3、配置SSH時，每臺機器都需要配置自己的為密碼，master與slaves互相持有其公鑰！
4、hadoop命令操作Java，
bin/hadoop fs -ls,
將文件放到hadoop文件下，bin/hadoop fs -put ../input ./in
刪除文件 bin/hadoop fs -rmr file,并沒有物理刪除，只是放在回收站中，里面可以設置時間閾值，超過閾值刪除。
恢復與清空 bin/hadoop fs -move file
快照：
5、修改hdfs源碼實現，namenode多點，這樣一個namenode宕機不至于造成損失！《HDFS高可用》
6、HDFS思想是硬件設備壞掉是常態，解決這個的方法就是冗余！
7、datanode一次寫入不能修改！
8、心跳機制：datanode向namenode定期發送信號，告訴namenode我還活著！
9、設置hadoop-classpath! hadoop環境變量！
10、分片問題，分片只能非常完全接近block。
性能調優
11、combiner 預處理過程，減少帶寬，傳輸速度快！可以優化在此。
12、處理小文件，將小文件合成大文件。
13、減少map階段的輸出。
14、maperd-site.xml設置JVM重用。
15、如果maperd任務還未完成就出現故障，jobtracker會要求其他節點重新執行該maperd任務。
16、如果reduce任務還未完成就出現故障，jobtracker會要求其他節點繼續執行reduce任務。
以上是“hadoop問題有哪些”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
