Spark SQL在Ubuntu的應用實踐

Apache Spark SQL 是一個用于處理結構化和半結構化數據的分布式計算框架，它允許你使用 SQL 查詢語言來處理 Spark 集群上的數據。在 Ubuntu 上應用 Spark SQL，你需要先安裝 Spark 和相關的依賴庫，然后配置環境變量，最后編寫和運行 SQL 查詢。以下是一個簡單的應用實踐步驟：

1. 安裝 Spark 和依賴庫

首先，確保你的 Ubuntu 系統已經安裝了 Java（OpenJDK 8 或更高版本）。然后，按照以下步驟安裝 Spark 和相關依賴庫：

# 下載并解壓 Spark
wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
tar -xzf spark-3.2.0-bin-hadoop3.2.tgz
cd spark-3.2.0-bin-hadoop3.2

# 安裝依賴庫
sudo apt-get update
sudo apt-get install -y libsnappy-dev liblz4-dev libzstd-dev

2. 配置環境變量

編輯 ~/.bashrc 文件，添加以下內容：

export SPARK_HOME=/path/to/spark-3.2.0-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin

保存文件后，運行以下命令使配置生效：

source ~/.bashrc

3. 啟動 Spark 會話

在 Spark 安裝目錄下，運行以下命令啟動 Spark 會話：

./bin/spark-shell

4. 創建測試數據

在 Spark 會話中，創建一個簡單的測試數據集：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Spark SQL Ubuntu Example") \
    .getOrCreate()

data = [("Alice", 34), ("Bob", 45), ("Cathy", 29), ("David", 31)]
columns = ["Name", "Age"]

df = spark.createDataFrame(data, columns)
df.show()

5. 使用 SQL 查詢數據

在 Spark 會話中，使用 SQL 查詢語言來查詢數據：

# 注冊 DataFrame 為臨時表
df.createOrReplaceTempView("people")

# 執行 SQL 查詢
result = spark.sql("SELECT Name, Age FROM people WHERE Age > 30")
result.show()

6. 停止 Spark 會話

完成查詢后，停止 Spark 會話：

spark.stop()

以上就是在 Ubuntu 上應用 Spark SQL 的一個簡單示例。你可以根據自己的需求編寫更復雜的查詢和數據處理邏輯。