溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天就跟大家聊聊有關spark中怎么自定義分區，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。
實現的功能是根據key值的最后一位數字，寫到不同的文件
例如：
10寫入到part-00000
11寫入到part-00001
.
.
.
19寫入到part-00009
給讀者提供一個自定義分區的思路
import org.apache.spark.{Partitioner, SparkContext, SparkConf}
//自定義分區類，需繼承Partitioner類
class UsridPartitioner(numParts:Int) extends Partitioner{
//覆蓋分區數
override def numPartitions: Int = numParts
//覆蓋分區號獲取函數
override def getPartition(key: Any): Int = {
key.toString.toInt%10
}
}
object Test {
def main(args: Array[String]) {
val conf=new SparkConf()
val sc=new SparkContext(conf)
//模擬5個分區的數據
val data=sc.parallelize(1 to 10,5)
//根據尾號轉變為10個分區，分寫到10個文件
data.map((_,1)).partitionBy(new UsridPartitioner(10)).saveAsTextFile("/chenm/partition")
}
}看完上述內容，你們對spark中怎么自定義分區有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
