pyspark3操作csv和postgresql+解決"No suitable driver"報錯該怎么辦

pyspark3操作csv和postgresql+解決"No suitable driver"報錯該怎么辦，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

環境

• postgresql 9.6

• Windows 10

• pyspark 3.0.1

• python 3.8

操作postgresql的話，需要下載對應的jdbc包：https://jdbc.postgresql.org/download.html

使用

from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession

# 讀取csv
sc = SparkContext()
sqlContext = SparkSession.builder.appName('enen').getOrCreate()
raw_date = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true', encoding='utf8').load(r'./abc.csv')
raw_date.show(10)

# 讀取postgresql表結構(JDBC)
spark = SparkSession \
    .builder \
    .appName('Python Spark Postgresql') \
    .config("spark.jars", "./postgresql-42.2.18.jar") \
    .config('spark.driver.extraClassPath', './postgresql-42.2.18.jar') \
    .getOrCreate()

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql://localhost:5432/db_name") \
    .option("dbtable", "table_name") \
    .option("user", "postgres") \
    .option("password", "123456789") \
    .load()

df.printSchema()

注意

一定要設置.config('spark.driver.extraClassPath', './postgresql-42.2.18.jar')不然會報錯如下：

java.sql.SQLException: No suitable driver
 at java.sql.DriverManager.getDriver(Unknown Source)

關于pyspark3操作csv和postgresql+解決"No suitable driver"報錯該怎么辦問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。