您好,登錄后才能下訂單哦!
這篇文章主要介紹“Linux下如何部署Ray集群”的相關知識,小編通過實際案例向大家展示操作過程,操作方法簡單快捷,實用性強,希望這篇“Linux下如何部署Ray集群”文章能幫助大家解決問題。
Ray是UC Berkeley RISE Lab新推出的高性能分布式執行框架,它使用了和傳統分布式計算系統不一樣的架構和對分布式計算的抽象方式,具有比Spark更優異的計算性能。Ray是一個基于Python的分布式執行引擎。相同的代碼可以在單個機器上運行以實現高效的多處理,并且可以在群集上用于大量的計算。
為了方便,我們最好利用 Anaconda構建來一個獨立的python運行環境。(當然你也可以直接使用系統內python運行環境,那么你可以跳過此步驟)
# 下載安裝腳本$ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 添加執行權限$ chmod u+x Miniconda3-latest-Linux-x86_64.sh# 運行安裝腳本$ ./Miniconda3-latest-Linux-x86_64.sh
為ray準備一個python環境,以python3.8.8示例:
# 創建一個名為ray,版本為3.8.8的python環境$ conda create --name ray python=3.8.8# 激活名為ray的python環境$ conda activate ray
安裝完之后,最好重新登錄一下,或者執行一下source ~/.bashrc
使得環境變量生效
安裝ray(版本為1.7.0),這里為了加快速度指定了阿里的鏡像源:
$ pip install -i https://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com -U 'ray[default]'==1.7.0
在192.168.100.1
上啟動Head節點:
$ ray start --head --dashboard-host='0.0.0.0' --dashboard-port=8265
正常會看到如下輸出:
Local node IP: 192.168.100.1 2021-11-02 18:33:11,977 INFO services.py:1250 -- View the Ray dashboard at http://192.168.100.1:8265 -------------------- Ray runtime started. -------------------- Next steps To connect to this Ray runtime from another node, run ray start --address='192.168.100.1:6379' --redis-password='5241590000000000'...
輸出信息包含了2個關鍵信息,需要別注意:
View the Ray dashboard at http://192.168.100.1:8265
:web服務的地址ray start --address='192.168.100.1:6379' --redis-password='524159000'
:head的地址和密碼在192.168.100.2
上,按照上面的步驟將python和ray安裝好,注意它們的版本必須保持一致。 (另外,Worker不是必須的,因為Head節點本身就具有worker角色)
# 連接指定的Head地址$ ray start --address='192.168.100.1:6379' --redis-password='5241590000000000'
訪問dashboard:http://192.168.100.1:8265
關于“Linux下如何部署Ray集群”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識,可以關注億速云行業資訊頻道,小編每天都會為大家更新不同的知識點。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。