shark如何安裝

這篇文章主要介紹了shark如何安裝，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

spark0.9.1安裝
解壓縮
修改目錄用戶權限，用戶hadoop登錄
修改配置文件
//slaves
hadoop1
hadoop2
hadoop3

//spark-env.sh
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g

scp到個節點

****************************************************
****************************************************
shark安裝
源碼下載，解壓縮
源碼編譯
SHARK_HADOOP_VERSION=2.2.0 SHARK_YARN=true sbt/sbt assembly
修改配置文件
//shark-env.sh
export SPARK_MEM=2g

# (Required) Set the master program's memory
export SHARK_MASTER_MEM=1g

# (Optional) Specify the location of Hive's configuration directory. By default,
# Shark run scripts will point it to $SHARK_HOME/conf
export HIVE_CONF_DIR="/app/hadoop/hive013/conf"

# For running Shark in distributed mode, set the following:
export HADOOP_HOME="/app/hadoop/hadoop220"
export SPARK_HOME="/app/hadoop/spark091"
export MASTER="spark://hadoop1:7077"

scp到個節點

****************************************************
****************************************************
啟動hive metasotre service
nohup bin/hive --service metastore > metastore.log 2>&1 &

啟動shark
bin/shark


./bin/shark –service sharkserver <port>
./bin/shark -h <server-host> -p <server-port>

感謝你能夠認真閱讀完這篇文章，希望小編分享的“shark如何安裝”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!