關閉Spark的自動廣播參數可以通過設置spark.sql.autoBroadcastJoinThreshold
參數為一個較大的值或者設置為-1來禁用自動廣播。具體的操作步驟如下:
--conf
選項來設置spark.sql.autoBroadcastJoinThreshold
參數的值。例如:./bin/spark-submit --conf spark.sql.autoBroadcastJoinThreshold=-1 --class your_main_class your_spark_application.jar
spark.sql.autoBroadcastJoinThreshold
參數的值。例如:val spark = SparkSession.builder()
.appName("YourAppName")
.config("spark.sql.autoBroadcastJoinThreshold", -1)
.getOrCreate()
通過以上兩種方式設置spark.sql.autoBroadcastJoinThreshold
參數的值為-1,即可關閉Spark的自動廣播參數。