中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

spark如何寫入hive數據

發布時間:2021-12-12 13:55:05 來源:億速云 閱讀:1104 作者:小新 欄目:大數據

這篇文章將為大家詳細講解有關spark如何寫入hive數據,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。

package hgs.spark.hive
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql.types.StructField
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.types.IntegerType
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.Row
object WriteDatatoHive {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("WriteDatatoHive").setMaster("local")
    val context = new SparkContext(conf)
    val rdd = context.parallelize(List(("wd",22),("cm",25)), 2).map(x=>Row(x._1,x._2))
    val builder = SparkSession.builder()
           .appName("hiveApp")
           .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/")
           .enableHiveSupport()
           .getOrCreate()
    //import builder.implicits._
    
    
    import builder.implicits._
    
   val personShcema = StructType(
    List(
        //下面為一個列的描述,分別為 列名,數據類型,是否為空
        StructField("name",StringType,true),
        StructField("age",IntegerType,true)
     )    
    )
    
    val personDF = builder.createDataFrame(rdd, personShcema)
    personDF.createOrReplaceTempView("personm")
    
    
    //這個可以存儲數據與hiveSQL兼容
    builder.table("personm").write.insertInto("test.person")
    
    //builder.sql("select * from personm").write.option("spark.sql.hive.convertMetastoreParquet", false)
     //.mode(SaveMode.Append).saveAsTable("test.person")
    
    context.stop()
        
  }
}
case class person(name:String,age:Int)

關于“spark如何寫入hive數據”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

嵊州市| 乌拉特前旗| 孝感市| 渝北区| 平陆县| 宜章县| 黎城县| 怀集县| 武邑县| 习水县| 永德县| 邹平县| 民乐县| 正镶白旗| 五河县| 杂多县| 镇康县| 织金县| 垦利县| 龙里县| 阿拉尔市| 临海市| 霞浦县| 武鸣县| 靖边县| 格尔木市| 略阳县| 浦北县| 邻水| 胶南市| 高雄市| 安阳市| 潞城市| 肇庆市| 任丘市| 陇南市| 望江县| 华坪县| 白山市| 巩义市| 遂宁市|