kubernetes中搭建spark集群的方式

這篇文章主要講解了“kubernetes中搭建spark集群的方式”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“kubernetes中搭建spark集群的方式”吧！

• 適用場景：linux系統，已經搭建好kubernetes1.4及以上的集群，沒有配置CA等認證,已經搭建DNS,其它情景僅作參考。

• 如果還沒有搭建DNS,請參考kubernetes中部署DNS搭建。

• 相關的yaml文件已經上傳到本人的github，需要用到的國外鏡像也一并被我替換成了阿里云鏡像，可直接下載使用

上節kubernetes中搭建spark集群 (一)說到spark mater和worker節點的ui都是單獨的，沒法在一個UI里實現查看，點擊worker UI里的==back to master==也是返回不了master的UI的。并且此時集群外也無法訪問我們的spark集群，這篇文章將重點介紹如何合并這些UI。

解決多UI合并和對外開放問題

這里以我集群中已經啟動的spark集群為例

如下圖所示，外部沒法正常訪問集群中的spark集群，而且每個spark節點都有自己的UI用戶界面,沒法實現一個端口訪問所有的UI

針對這一情況，這里使用一個代理來實現合并，通過一個Python腳本創建了一個輕量級的HTTP服務器，它將所有的請求代理給你的Spark Master和Spark Workers。所有你需要做的是創建一個單一的SSH通道到這個代理，代理將轉發所有的請求到相應的節點上。

具體的實現過程如下：

1.創建代理POD

a.文件spark-ui-proxy-controller.yaml內容

kind: ReplicationController
apiVersion: v1
metadata:
  name: spark-ui-proxy-controller
spec:
  replicas: 1
  selector:
    component: spark-ui-proxy
  template:
    metadata:
      labels:
        component: spark-ui-proxy
    spec:
      containers:
        - name: spark-ui-proxy
          image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark-ui-proxy:1.0
          ports:
            - containerPort: 80
          resources:
            requests:
              cpu: 100m
          args:
            - spark-master:8080
          livenessProbe:
              httpGet:
                path: /
                port: 80
              initialDelaySeconds: 120
              timeoutSeconds: 5

• 其中相關鏡像已替換成阿里云鏡像，可以直接下載使用。

b.創建RC

$ kubectl create -f spark-ui-proxy-controller.yaml

c.查看驗證

$ kubectl get pods |grep spark-ui
spark-ui-proxy-controller-gkx2v   1/1       Running            0          5h

• 已經running！

d.創建services

文件spark-ui-proxy-service.yaml 內容：

kind: Service
apiVersion: v1
metadata:
  name: spark-ui-proxy
spec:
  type: NodePort
  ports:
    - port: 80
      targetPort: 80
      nodePort: 8082
  selector:
    component: spark-ui-proxy

• 這里我將端口映射到了主機的8082端口，這樣外部就可以通過該端口訪問spark集群的工作界面了。

• 創建

$ kubectl create -f spark-ui-proxy-service.yaml

e.查看驗證

$ kubectl get svc |grep spark-ui
spark-ui-proxy   192.168.3.158   <nodes>       80:8082/TCP         4h

可以看出集群給services分配了一個192.168.3.158的集群IP,那么在集群內就可以通過這個Ip+port來訪問spark集群的用戶界面了。

實際搭建驗證

a.集群外部通過暴露的端口進行訪問，

這里我的主機IP為192.168.122.10,,,從ui-proxy映射的端口為8082,則訪問http://192.168.122.10:8082

• 點擊master中的任意worker節點均可跳轉到相應的worker節點的Ui,并且點擊worker中的==back to master==也能成功跳轉到master

b.集群內部訪問

集群內通過主機的Ip+映射的port也能直接訪問，或通過ui-proxy-service的IP(192.168.3.158)+port也能實現正常訪問，

• 未完待續！

感謝各位的閱讀，以上就是“kubernetes中搭建spark集群的方式”的內容了，經過本文的學習后，相信大家對kubernetes中搭建spark集群的方式這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！