Spark Sql的安裝過程

本篇內容介紹了“Spark Sql的安裝過程”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

一、啟動zk、啟動hdfs集群、啟動hive服務（hive  --service  metastore）

二、修改spark中conf下的hive-site.xml配置文件（就和hive的client的配置文件相同）

    注：這里配置文件只需要修改一臺主機就可以了，這里相當于client

三、啟動spark集群

四、啟動spark sql(./bin/spark-sql --master spark://node11:7077 --executor-memory 512m)

    注：配置文件spark-env.sh中如果配置的是ip 那么命令就需要用ip，如果配置文件中配置的是主機名，那么命令就要用主機名；

SparkSQL thrift server環境搭建

1、hive-site.xml 中添加配置

<property>

<name>hive.server2.thrift.min.worker.threads</name>

<value>5</value>

<description>Minimum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.max.worker.threads</name>

<value>500</value>

<description>Maximum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

<description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node12</value><!--  這里就是當前主機名 -->

<description>Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST</description>

</property>

二、啟動spark thrift server

./sbin/start-thriftserver.sh --master spark://192.168.57.4:7077 --executor-memory 512M

三、啟動以后可以通過bin目錄下beeline訪問

./bin/beeline

!connect  jdbc:hive2://node12:10000

注：這樣可以進入sparksql控制臺，但是不能查詢，報錯，需要將hdfs集群中core-site.xml 和 hdfs-site.xml拷貝到spark中conf下（每個spark集群節點都要拷貝）

“Spark Sql的安裝過程”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！