溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關HDFS oiv如何解析Fsimage OOM異常處理，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
HDFS的Fsimage文件記錄了集群的元數據信息，是進行集群健康度分析的基礎。利用HDFS oiv命令可以解析fsimage文件，解析后的文件放入Hive中即可進行集群元數據的詳細分析。
運行以下命令，獲取hdfs集群的fsimage文件，并使用oiv命令進行解析
#獲取fsimage文件
hdfs dfsadmin -fetchImage /hdfs_meta
#使用oiv命令將fsimage文件解析為csv文件
hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited異常信息
喜聞樂見的OOM
解析fsimage文件出現OOM，初步考慮是HDFS Client的java heap設置小了，于是嘗試在hdfs oiv命令前指定HADOOP_CLIENT_OPTS
HADOOP_CLIENT_OPTS='-Xmx5000m' hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited
發現依舊OOM，隨后將該參數從5G調整到20G，并未解決該問題（嘗試過去CM上修改HDFSClient的 Java Heap）
查看hdfs oiv命令的help發現了一個-t參數，使用臨時目錄緩存中間結果來生成oiv命令的解析結果，可以緩解內存的壓力。
最終在oiv命令中帶上-t參數，問題解決
hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -t /temp/dir -o /hdfs_meta/fsimage.csv -p Delimited
問題參考：
https://issues.apache.org/jira/browse/HDFS-6293
https://community.cloudera.com/t5/Community-Articles/How-to-read-fsimage/ta-p/248832
| 字段 | 注釋 |
| Path | HDFS路徑 |
| Replication | 副本數 |
| ModificationTime | 最近修改時間 |
| AccessTime | 最近訪問時間 |
| PerferredBlockSize | block size |
| BlocksCount | 塊總數 |
| FileSize | 文件大小 |
| NSQUOTA | 名稱配額 |
| DSQUOTA | 監控配額 |
| Permission | 文件權限 |
| UserName | 所屬用戶 |
| GroupName | 所屬用戶組 |
順利解析出Fsimage文件后，下一步就是建個Hive表，然后上Spark愉快的進行集群元數據分析了！！！
關于“HDFS oiv如何解析Fsimage OOM異常處理”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
