溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這期內容當中小編將會給大家帶來有關spark on k8s與spark on k8s operator的對比是怎樣的，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
spark原生支持的 spark on k8s
基于k8s的operator的 spark on k8s operator
前者是spark社區支持k8s這種資源管理框架而引入的k8s client的實現
后者是k8s社區為了支持spark而開發的一種operator
| 區別 | spark on k8s | spark on k8s operator |
|---|---|---|
| 社區支持 | spark社區 | GoogleCloudPlatform非官方支持 |
| 版本要求 | spark>=2.3,Kubernetes>=1.6 | spark>2.3,Kubernetes>=1.13 |
| 安裝 | 按照官網安裝，需要k8s pod的create list edit delete權限，且需要自己編譯源碼進行鏡像的構建，構建過程繁瑣 | 需要k8s admin安裝incubator/sparkoperator，需要pod create list edit delete的權限 |
| 使用 | 直接spark submit提交，如:下面code 1,支持client和cluster模式，spark on k8s | 通過yaml配置文件形式提交，支持client和cluster模式，提交如code2，具體參數參考spark operator configuration |
| 優點 | 符合sparker的方式進行任務提交，對于習慣了spark的使用者來說，使用起來更順手 | k8s配置文件方式提交任務，復用性強 |
| 缺點 | 運行完后driver的資源不會自動釋放 | 運行完后driver的資源不會自動釋放 |
| 實現方式 | 對于spark提交方式來說，無論是client提交還是cluster提交，都是繼承SparkApplication。以client提交，子類則是JavaMainApplication,該方式以反射運行,對于k8s任務來分析,clusterManager為KubernetesClusterManager,該方式和向yarn提交任務的方式沒什么區別;以cluster方式提交,對于k8s任務來說,spark程序的入口為KubernetesClientApplication，client端會建立clusterIp為None的service，executor跟該service進行rpc，如任務的提交的交互，且會建立以driver-conf-map后綴的configMap，該configMap在建立spark driver pod的時候，以volumn掛載的形式被引用,而該文件的內容最終在driver提交任務的時候以--properties-file形式提交給spark driver，從而spark.driver.host等配置項就傳輸給了driver，與此同時也會建立以-hadoop-config為后綴的configMap，可是 k8s 鏡像怎么區分是運行executor還是driver的呢？一切都在dockerfile(具體構建的時候根據hadoop和kerbeors環境的不一樣進行區別配置)和entrypoint中,其中shell中是區分driver和executor的; | 采用k8s CRD Controller的機制，自定義CRD,根據operator SDK,監聽對應的增刪改查event，如監聽到對應的CRD的創建事件，則根據對應yaml文件配置項，建立pod，進行spark任務的提交，具體的實現，可參考spark on k8s operator design,具體以cluster和client模式提交的原理和spark on k8s一致,因為鏡像復用的是spark的官方鏡像 |
code 1 --- bin/spark-submit \ --master k8s://https://192.168.202.231:6443 \ --deploy-mode cluster \ --name spark-pi \ --class org.apache.spark.examples.SparkPi \ --conf spark.executor.instances=2 \ --conf "spark.kubernetes.namespace=dev" \ --conf "spark.kubernetes.authenticate.driver.serviceAccountName=lijiahong" \ --conf "spark.kubernetes.container.image=harbor.k8s-test.uc.host.dxy/dev/spark-py:cdh-2.6.0-5.13.1" \ --conf "spark.kubernetes.container.image.pullSecrets=regsecret" \ --conf "spark.kubernetes.file.upload.path=hdfs:///tmp" \ --conf "spark.kubernetes.container.image.pullPolicy=Always" \ hdfs:///tmp/spark-examples_2.12-3.0.0.jar
code 2 --- apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: spark-pi namespace: dev spec: type: Scala mode: cluster image: "gcr.io/spark-operator/spark:v3.0.0" imagePullPolicy: Always mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar" sparkVersion: "3.0.0" restartPolicy: type: Never volumes: - name: "test-volume" hostPath: path: "/tmp" type: Directory driver: cores: 1 coreLimit: "1200m" memory: "512m" labels: version: 3.0.0 serviceAccount: lijiahong volumeMounts: - name: "test-volume" mountPath: "/tmp" executor: cores: 1 instances: 1 memory: "512m" labels: version: 3.0.0 volumeMounts: - name: "test-volume" mountPath: "/tmp"
上述就是小編為大家分享的spark on k8s與spark on k8s operator的對比是怎樣的了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
