溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家介紹ElasticSearch如何進行角色分離部署，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
ES的架構為三節點，即master、ingest、data角色同時部署在三臺服務器上。
下面將進行角色分離部署，并且每個角色分別部署三節點，在實現性能最大化的同時保障高可用。
? elasticsearch的master節點：用于調度，采用普通性能服務器來部署
? elasticsearch的ingest節點：用于數據預處理，采用性能好的服務器來部署
? elasticsearch的data節點：用于數據落地存儲，采用存儲性能好的服務器來部署
服務器配置
注意：此處的架構是之前的文章《EFK教程 - 快速入門指南》的拓展，因此請先按照《EFK教程 - 快速入門指南》完成部署
1?? 部署3臺data節點，加入原集群
2?? 部署3臺ingest節點，加入原集群
3?? 將原有的es索引遷移到data節點
4?? 將原有的es節點改造成master節點
之前已完成了基礎的elasticsearch架構，現需要新增三臺存儲節點加入集群，同時關閉master和ingest功能
elasticsearch-data安裝：3臺均執行相同的安裝步驟
tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz mv elasticsearch-7.3.2 /opt/elasticsearch useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin mkdir -p /opt/logs/elasticsearch chown elasticsearch.elasticsearch /opt/elasticsearch -R chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R # 數據盤需要elasticsearch寫權限 chown elasticsearch.elasticsearch /data/SAS -R # 限制一個進程可以擁有的VMA(虛擬內存區域)的數量要超過262144，不然elasticsearch會報max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144] echo "vm.max_map_count = 655350" >> /etc/sysctl.conf sysctl -p
elasticsearch-data配置
? 192.168.1.51 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.51 # 數據盤位置，如果有多個硬盤位置，用","隔開 path.data: /data/SAS path.logs: /opt/logs/elasticsearch network.host: 192.168.1.51 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" # 關閉master功能 node.master: false # 關閉ingest功能 node.ingest: false # 開啟data功能 node.data: true
? 192.168.1.52 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.52 # 數據盤位置，如果有多個硬盤位置，用","隔開 path.data: /data/SAS path.logs: /opt/logs/elasticsearch network.host: 192.168.1.52 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" # 關閉master功能 node.master: false # 關閉ingest功能 node.ingest: false # 開啟data功能 node.data: true
? 192.168.1.53 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.53 # 數據盤位置，如果有多個硬盤位置，用","隔開 path.data: /data/SAS path.logs: /opt/logs/elasticsearch network.host: 192.168.1.53 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" # 關閉master功能 node.master: false # 關閉ingest功能 node.ingest: false # 開啟data功能 node.data: true
elasticsearch-data啟動
sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch
elasticsearch集群狀態
curl "http://192.168.1.31:9200/_cat/health?v"
elasticsearch-data狀態
curl "http://192.168.1.31:9200/_cat/nodes?v"
elasticsearch-data參數說明
status: green # 集群健康狀態 node.total: 6 # 有6臺機子組成集群 node.data: 6 # 有6個節點的存儲 node.role: d # 只擁有data角色 node.role: i # 只擁有ingest角色 node.role: m # 只擁有master角色 node.role: mid # 擁master、ingest、data角色
現需要新增三臺ingest節點加入集群，同時關閉master和data功能
elasticsearch-ingest安裝：3臺es均執行相同的安裝步驟
tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz mv elasticsearch-7.3.2 /opt/elasticsearch useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin mkdir -p /opt/logs/elasticsearch chown elasticsearch.elasticsearch /opt/elasticsearch -R chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R # 限制一個進程可以擁有的VMA(虛擬內存區域)的數量要超過262144，不然elasticsearch會報max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144] echo "vm.max_map_count = 655350" >> /etc/sysctl.conf sysctl -p
elasticsearch-ingest配置
? 192.168.1.41 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.41 path.logs: /opt/logs/elasticsearch network.host: 192.168.1.41 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" # 關閉master功能 node.master: false # 開啟ingest功能 node.ingest: true # 關閉data功能 node.data: false
? 192.168.1.42 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.42 path.logs: /opt/logs/elasticsearch network.host: 192.168.1.42 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" # 關閉master功能 node.master: false # 開啟ingest功能 node.ingest: true # 關閉data功能 node.data: false
? 192.168.1.43 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.43 path.logs: /opt/logs/elasticsearch network.host: 192.168.1.43 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" # 關閉master功能 node.master: false # 開啟ingest功能 node.ingest: true # 關閉data功能 node.data: false
elasticsearch-ingest啟動
sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch
elasticsearch集群狀態
curl "http://192.168.1.31:9200/_cat/health?v"
elasticsearch-ingest狀態
curl "http://192.168.1.31:9200/_cat/nodes?v"
elasticsearch-ingest參數說明
status: green # 集群健康狀態 node.total: 9 # 有9臺機子組成集群 node.data: 6 # 有6個節點的存儲 node.role: d # 只擁有data角色 node.role: i # 只擁有ingest角色 node.role: m # 只擁有master角色 node.role: mid # 擁master、ingest、data角色
首先，將上一篇《EFK教程 - 快速入門指南》中部署的3臺es（192.168.1.31、192.168.1.32、192.168.1.33）改成只有master的功能， 因此需要先將這3臺上的索引數據遷移到本次所做的data節點中
1?? 索引遷移：一定要做這步，將之前的索引放到data節點上
curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'
{
"index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52,192.168.1.53"
}'2?? 確認當前索引存儲位置：確認所有索引不在192.168.1.31、192.168.1.32、192.168.1.33節點上
curl "http://192.168.1.31:9200/_cat/shards?h=n"
elasticsearch-master配置
注意事項：修改配置，重啟進程，需要一臺一臺執行，要確保第一臺成功后，再執行下一臺。重啟進程的方法：由于上一篇文章《EFK教程 - 快速入門指南》里，是執行命令跑在前臺，因此直接ctrl - c退出再啟動即可，啟動命令如下
sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch
? 192.168.1.31 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.31 path.logs: /opt/logs/elasticsearch network.host: 192.168.1.31 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" #開啟master功能 node.master: true #關閉ingest功能 node.ingest: false #關閉data功能 node.data: false
? 192.168.1.32 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.32 path.logs: /opt/logs/elasticsearch network.host: 192.168.1.32 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" #開啟master功能 node.master: true #關閉ingest功能 node.ingest: false #關閉data功能 node.data: false
? 192.168.1.33 /opt/elasticsearch/config/elasticsearch.yml
cluster.name: my-application node.name: 192.168.1.33 path.logs: /opt/logs/elasticsearch network.host: 192.168.1.33 discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"] cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"] http.cors.enabled: true http.cors.allow-origin: "*" #開啟master功能 node.master: true #關閉ingest功能 node.ingest: false #關閉data功能 node.data: false
elasticsearch集群狀態
curl "http://192.168.1.31:9200/_cat/health?v"
elasticsearch-master狀態
curl "http://192.168.1.31:9200/_cat/nodes?v"
至此，當node.role里所有服務器都不再出現“mid”，則表示一切順利完成。
關于ElasticSearch如何進行角色分離部署就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
