中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

怎么關閉spark自動廣播參數

小億
297
2024-06-04 15:28:18
欄目: 大數據

關閉Spark的自動廣播參數可以通過設置spark.sql.autoBroadcastJoinThreshold參數為一個較大的值或者設置為-1來禁用自動廣播。具體的操作步驟如下:

  1. 在啟動Spark應用程序的時候,可以通過--conf選項來設置spark.sql.autoBroadcastJoinThreshold參數的值。例如:
./bin/spark-submit --conf spark.sql.autoBroadcastJoinThreshold=-1 --class your_main_class your_spark_application.jar
  1. 在代碼中通過SparkSession對象來設置spark.sql.autoBroadcastJoinThreshold參數的值。例如:
val spark = SparkSession.builder()
  .appName("YourAppName")
  .config("spark.sql.autoBroadcastJoinThreshold", -1)
  .getOrCreate()

通過以上兩種方式設置spark.sql.autoBroadcastJoinThreshold參數的值為-1,即可關閉Spark的自動廣播參數。

0
长泰县| 神木县| 四会市| 荆门市| 石渠县| 平武县| 乌拉特后旗| 三河市| 公安县| 渝北区| 固镇县| 遵义县| 苍山县| 贵德县| 阿拉善右旗| 昌乐县| 大姚县| 繁昌县| 大同县| 金乡县| 巫山县| 康定县| 黔西| 南部县| 无为县| 田林县| 鹤山市| 徐汇区| 龙泉市| 东明县| 垣曲县| 太康县| 黄冈市| 延川县| 弥渡县| 通化县| 宜丰县| 天台县| 遂溪县| 江川县| 孟村|