Storm集群的搭建與配置方法

這篇文章主要講解了“Storm集群的搭建與配置方法”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Storm集群的搭建與配置方法”吧！

安裝Storm集群

這一章節將詳細描述如何搭建一個Storm集群。下面是接下來需要依次完成的安裝步驟：

• 搭建Zookeeper集群；

• 安裝Storm依賴庫；

• 下載并解壓Storm發布版本；

• 修改storm.yaml配置文件；

• 啟動Storm各個后臺進程。

1、Zookeeper的搭建參考：http://my.oschina.net/u/2377453/blog/464739

搭建Zookeeper集群注意事項：

1. 由于Zookeeper是快速失敗（fail-fast)的，且遇到任何錯誤情況，進程均會退出，因此，最好能通過監控程序將Zookeeper管理起來，保證Zookeeper退出后能被自動重啟。詳情參考這里。

2. Zookeeper運行過程中會在dataDir目錄下生成很多日志和快照文件，而Zookeeper運行進程并不負責定期清理合并這些文件，導致占用大量磁盤空間，因此，需要通過cron等方式定期清除沒用的日志和快照文件。詳情參考這里。具體命令格式如下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>

2、安裝Storm依賴庫

接下來，需要在Nimbus和Supervisor機器上安裝Storm的依賴庫，具體如下：

1. ZeroMQ 2.1.7 – 請勿使用2.1.10版本，因為該版本的一些嚴重bug會導致Storm集群運行時出現奇怪的問題。少數用戶在2.1.7版本會遇到"IllegalArgumentException"的異常，此時降為2.1.4版本可修復這一問題。

2. JZMQ

3. Java 6

4. Python 2.6.6

5. unzip

以上依賴庫的版本是經過Storm測試的，Storm并不能保證在其他版本的Java或Python庫下可運行。

注意：

    安裝過程中經常出現需要依賴，請務必使用yum安裝各種依賴

    YUM出現問題請參考這篇文章：http://my.oschina.net/u/2377453/blog/466141

3、安裝ZMQ 2.1.7

下載后編譯安裝ZMQ：

#wget    //http://download.zeromq.org/zeromq-2.1.7.tar.gz//下載
#tar -xzf zeromq-2.1.7.tar.gz    //解壓
#cd zeromq-2.1.7    //切換目錄
//編譯且安裝
#./configure        
#make    
#make install

安裝時可能出現如下依賴：
1.安裝c++編譯器
#sudo yum install gcc-c++
2.下載libsodium
//https://github.com/jedisct1/libsodium/archive/1.0.1.tar.gz
3.安裝libtool
#sudo yum install libtool
4.安裝autoconf-2.68
#wget //http://ftp.gnu.org/gnu/autoconf/autoconf-2.68.tar.gz
#./configure
#make && make install

注意事項：

1. 如果安裝過程報錯uuid找不到，則通過如下的包安裝uuid庫：
#yum install uuid*
#yum install e2fsprogs*
2. 如果出現c++編譯環境
#yum install gcc-c++

4、安裝JZMQ

下載后編譯安裝JZMQ：

#wget   // https://codeload.github.com/zeromq/jzmq/zip/master//下載
#unzip jzmq-master.zip //解壓
#cd jzmq-maste    //切換目錄
//編譯安裝
#./autogen.sh
#./configure
#make
#make install

為了保證JZMQ正常工作，可能需要完成以下配置：

1. 正確設置 JAVA_HOME環境變量

2. 安裝Java開發包

3. 注意事項：

     1. 如果運行./configure命令出現connot find zmq.h

加入兩臺export：
export CPPFLAGS=-I/root/installs/zeromq/include
export LDFLAGS=-L/root/installs/zeromq/lib/

5、 安裝Java 6

1. 下載并安裝JDK 6

2. 配置JAVA_HOME環境變量；

3. 運行java、javac命令，測試java正常安裝。

6、安裝Python2.7.10

1. 下載Python2.7.10：

wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tar.xz

2. 編譯安裝Python2.7.10：

#xz -d Python-2.7.10.tar.xz//可能需要安裝xz，sudo yum install xz 
#tar –xvf Python-2.7.10.tar.gz  
#cd Python-2.7.10
#./configure
#make
#make install
注意：
1、python默認安裝路徑：/usr/local/bin/pythonN
2、新安裝的python要替代系統自帶的python必須將系統自帶的python的鏈接文件刪除：/usr/bin/python
3、使用命令創建自己的鏈接文件：ln -s /usr/local/bin/pythonN /usr/bin/python
N位版本號

3. 測試Python2.7.10：

#python -V
Python 2.7.10

7、安裝unzip

1. 如果使用RedHat系列Linux系統，執行以下命令安裝unzip：

apt-get install unzip

2. 如果使用Debian系列Linux系統，執行以下命令安裝unzip：

yum install unzip

8、下載并解壓Storm發布版本

下一步，需要在Nimbus和Supervisor機器上安裝Storm發行版本。

1. 下載Storm發行版本，推薦使用Storm0.8.1：

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

2. 解壓到安裝目錄下：

unzip storm-0.8.1.zip

3. 修改storm.yaml配置文件

Storm發行版本解壓目錄下有一個conf/storm.yaml文件，用于配置Storm。默認配置在這里可以查看。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的默認配置。以下配置選項是必須在conf/storm.yaml中進行配置的：

注意：配置文件中“：”以及“-”左右兩邊必須有空格（→_→我被坑了好久才發現這個問題）

#配置storm使用的zookeeper集群的地址
storm.zookeeper.servers:
     - "hostA"
     - "hostB"
#（選配）如果zookeeper默認端口不是2181，則需要配置zookeeper端口
storm.zookeeper.port : 2181
#配置主節點nimbus所在的主機
nimbus.host : "host"
#配置storm的工作目錄
storm.local.dir : "/root/app/storm/tmp"
#配置本地模式下是否使用ZeroQM作為消息系統，默認為false：使用java消息系統
storm.local.mode.zmq : true
#配置supervisor節點可以使用worker進程的端口,默認情況為4個worker進程，端口如下
supervisor.slots.ports : 
 - 6700
 - 6701
 - 6702
 - 6703

9、啟動Storm各個后臺進程

最后一步，啟動Storm的所有后臺進程。和Zookeeper一樣，Storm也是快速失敗（fail-fast)的系統，這樣Storm才能在任意時刻被停止，并且當進程重啟后被正確地恢復執行。這也是為什么Storm不在進程內保存狀態的原因，即使Nimbus或Supervisors被重啟，運行中的Topologies不會受到影響。

以下是啟動Storm各個后臺進程的方式：

1. Nimbus: 在Storm主控節點上運行"bin/storm nimbus 1 > /dev/null 2 &1 &"啟動Nimbus后臺程序，并放到后臺執行；

2. Supervisor: 在Storm各個工作節點上運行"bin/storm supervisor 1 /dev/null 2 &1 &"啟動Supervisor后臺程序，并放到后臺執行；

3. UI: 在Storm主控節點上運行"bin/storm ui  1 > /dev/null 2 &1 &"啟動UI后臺程序，并放到后臺執行，啟動后可以通過http://{nimbus host}:8080觀察集群的worker資源使用情況、Topologies的運行狀態等信息。

4. 命令解釋：“1 > /dev/null 2 &1”，linux命令，意思是標準輸出（1）到/dev/null，異常輸出（2）同樣輸出到/dev/null（&1就是引用1輸出的位置），&后臺運行，如果在命令最前端加入“nohub”，則變為即使關閉終端也會繼續運行.

    

注意事項：

1. Storm后臺進程被啟動后，將在Storm安裝部署目錄下的logs/子目錄下生成各個進程的日志文件。

2. 經測試，Storm UI必須和Storm Nimbus部署在同一臺機器上，否則UI無法正常工作，因為UI進程會檢查本機是否存在Nimbus鏈接。

3. 為了方便使用，可以將bin/storm加入到系統環境變量中。

至此，Storm集群已經部署、配置完畢，可以向集群提交拓撲運行了。

10、向集群提交任務

1）啟動Storm Topology：

storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

其中，allmycode.jar是包含Topology實現代碼的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的參數。

2）停止Storm Topology：

storm kill {toponame}

其中，{toponame}為Topology提交到Storm集群時指定的Topology任務名稱。

感謝各位的閱讀，以上就是“Storm集群的搭建與配置方法”的內容了，經過本文的學習后，相信大家對Storm集群的搭建與配置方法這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！