溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章給大家分享的是有關 jvm-profiler中如何使用spark 內存，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
一般來說監控 spark 內存有2種方式
通過 Spark ListenerBus 獲取 Executor 內部的內存使用情況 ，現在能獲取的相關信息還比較少，在 https://github.com/apache/spark/pull/21221 合進來后就能采集到executor 內存各個邏輯分區的使用情況。
通過 Spark Metrics 將 JVM 信息發送到指定的 sink，用戶也可以自定義 Sink 比如發送到 kafka/Redis。
Uber 最近開源了 jvm-profiler，采集分布式JVM應用信息，可以用于 debug CPU/mem/io 或者方法調用的時間等。比如調整Spark JVM 內存大小，監控 HDFS Namenode RPC 延時，分析數據血緣關系。
應用于 Spark 比較簡單
每5S采集一次JVM信息，發送到 kafka profiler_CpuAndMemory topic
hdfs dfs -put jvm-profiler-0.0.9.jar hdfs://hdfs_url/lib/jvm-profiler-0.0.9.jar--conf spark.jars=hdfs://hdfs_url/lib/jvm-profiler-0.0.9.jar--conf spark.executor.extraJavaOptions=-javaagent:jvm-profiler-0.0.9.jar=reporter=com.uber.profiling.reporters.KafkaOutputReporter,metricInterval=5000,brokerList=brokerhost:9092,topicPrefix=profiler_
消費后存入HDFS用于分析。
hive 表結構
對用戶自定義內存的任務進行分析
用戶自定義內存調度任務，75%的任務內存使用率低于80%，可以進行優化。
用戶自定義內存調度任務
用戶自定義內存開發任務，45%的任務內存使用率低于20%，用戶存在不良使用習慣。
用戶自定義內存開發任務
通過采集 jvm 的最大使用值和設定值，可以解決下述問題。
內存濫用
監控應用內存使用趨勢，防止數據增長導致內存不足
Spark Executor 默認內存設置不合理
根據應用的使用預計內存減少情況
executor 默認內存減少10%，平均每個任務能釋放 60G 內存
自定義內存調度任務利用率提高到 70%，平均每個任務能釋放 450G 內存
自定義內存開發任務利用率提高到 70%，平均每個任務能釋放 550G 內存
以上就是 jvm-profiler中如何使用spark 內存，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
