Linux系統如何安裝Spark

小編給大家分享一下Linux系統如何安裝Spark，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Spark 是專為大規模數據處理而設計的快速通用的計算引擎。

Spark簡介：

• 用最簡單的語言去描述Spark的話，聽起來或許有點百度百科：Spark是一個通用的分布式數據處理引擎。

• 上面這句話聽起來或許很抽象，我們一個詞一個詞的來解釋通用：通用指的是Spark可以做很多事情。剛剛我們提到過的，包括機器學習，數據流傳輸，交互分析，ETL，批處理，圖計算等等等等都是Spark可以做到的。甚至可以說，你需要用數據實現的任何事情，你都可以用Spark試試看。分布式：指的是Spark處理數據的能力是建立在許多機器上的，是可以和分布式的存儲系統對接的，是可以做橫向擴展的（簡單點說就是電腦越多，能力越大）引擎：所謂引擎，說的就是Spark自己不會存儲數據，它就像實體的機械引擎一樣，會將燃料（對Spark來說是數據）轉化成使用者需要的那種形式——例如驅動汽車，再例如得到一個需要的目標結論。但無論如何，巧婦難為無米之炊，沒數據是萬萬不行的。

Linux系統安裝Spark具體步驟：

安裝約定

軟件上傳目錄：/opt/soft

軟件安裝目錄：/opt

環境變量配置文件：/etc/profile.d/hadoop-etc.sh

環境依賴：需安裝zookeeper、Scala

1) 解壓hadoop安裝軟件

tar -zxvf /opt/soft/spark-2.0.2-bin-hadoop2.7.tgz -C /opt/

2) 重命名

mv /opt/spark-2.0.2-bin-hadoop2.7 /opt/spark

3) 復制并重命名配置文件

cd /opt/spark/conf

cp spark-env.sh.template spark-env.sh

4) 修改spark-env.sh配置文件

vi spark-env.sh

export JAVA_HOME=/opt/jdk

export SCALA_HOME=/opt/scala

export SPARK_MASTER_IP=lky01

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

5) 復制并重命名slaves.template文件

cp slaves.template slaves

6) 修改slaves配置文件

添加兩行記錄(注銷掉localhost)

lky02

lky03

7)將mysql驅動架包mysql-connector-java-5.1.39-bin.jar復制到/opt/spark/jars目錄下

8)拷貝spark至其他機器

scp -r /opt/spark root@lky02:/opt

scp -r /opt/spark root@lky03:/opt

9)拷貝環境變量至其他機器

scp /etc/profile.d/hadoop-etc.sh root@lxq2:/etc/profile.d/

scp /etc/profile.d/hadoop-etc.sh root@lxq03:/etc/profile.d/

10)讓配置生效： source /etc/profile.d/hadoop-etc.sh

修改啟動項

為了避免和hadoop中的start/stop-all.sh腳本發生沖突，將spark/sbin/start/stop-all.sh重命名

cd /opt/spark/sbin/

mv start-all.sh start-spark-all.sh

mv stop-all.sh stop-spark-all.sh

11)啟動spark

sbin/start-spark-all.sh

12)訪問驗證

訪問spark web服務：http://ip:8080

以上是“Linux系統如何安裝Spark”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！