SPARK啟動歷史任務查看

SPARK歷史任務查看需要一下配置:

1. 修改spark-defaults.conf配置文件

   1.   spark.eventLog.enabled             true

   2.   spark.eventLog.dir                       hdfs://192.168.9.110:9000/eventLogs

   3.   spark.eventLog.compress          true

2. 修改spark-env.sh配置文件

   1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"

3. 以上兩個配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs來存儲歷史任務的日志信息.所以需要提前在hdfs中新建這兩個目錄 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

   1. 進入hadoop的bin目錄 命令 :  cd /data/server/hadoop-2.6.0/bin

   2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs

   3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs

4. 重啟spark集群

5. 啟動歷史任務進程

   1. sbin/start-history-server.sh

6. 歷史任務進程啟動驗證

   1. 執行jps命令,出現HistoryServer進程
      

7. 查看歷史任務Web UI

   1. http://192.168.9.110:18080/