溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家介紹怎么實現spark的官網原生監控整理，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
1.官網位置截圖Monitoring
2.解釋
對于默認的webui 你訪問完就不可以在看到了 這樣你不可能知道之前發生什么事情 你可以通過配置在界面上顯示
3.spark.eventLog.enabled 打開
你要把spark.eventLog.enabled to true before starting the application. 這個打開 這個配置在spark-default.conf spark.eventLog.enabled true
4.官網體現
5.配置文件體現
配置文件體現，配置成hdfs的 這個只用來存取，供頁面使用
1.讀取配置
讀取這個存儲日志文件的位置要在spark.env.sh配置 "-Dspark.history.fs.logDirectory=hdfs://s201:8020/directory -Dspark.history.ui.port=7777" 這個是頁面可以取這個存儲日志下去讀，還可以設置端口
2.讀取順序
看最后一項SPARK_HISTORY_OPTS 后面的這些參數要配置到SPARK_HISTORY_OPTS=（配置下面參數） 都在psrk-env.sh
3.注意要設置時間間隔和清理時間參數
這三項是防止不清楚日志hdfs存滿 一個是把自動清除開關打開，隔多久清理一次，清理一次要清理多久的數據
4.啟動
最后要啟動start-history-server.sh 訪問你的啟動主機的ip:你設置的端口號
5.結果展示
6.注意事項
Incomplete 產生原因 一個是正在運行，另一個是沒有sc.stop情況下 所以一定要sc.stop
1.官網
2.訪問方式類似
你可以自己定制，改變，拿到json 結果 ，訪問路徑 http://s201:7777/api/v1/applications
3.結果展示
關于怎么實現spark的官網原生監控整理就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
