中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Apache Hudi 0.5.2版本有哪些特性

發布時間:2022-05-18 11:44:01 來源:億速云 閱讀:211 作者:iii 欄目:大數據

本文小編為大家詳細介紹“Apache Hudi 0.5.2版本有哪些特性”,內容詳細,步驟清晰,細節處理妥當,希望這篇“Apache Hudi 0.5.2版本有哪些特性”文章能幫助大家解決疑惑,下面跟著小編的思路慢慢深入,一起來學習新知識吧。

1. 遷移指南

  • Write Client模塊組織結構進行了重構,具體參見HUDI-554。現在client包包含所有事務管理的類,func包被重命名為execution,一些幫助類被移動到了client/utils中,之前所有在io包下和壓縮(compaction)相關代碼已經被移動到table/compact下。table/rollback包放置了和回滾(Rollback)操作相關代碼,一些通用類放在了table包下。上述變更僅影響依賴hudi-client模塊的用戶,使用deltastreamer/datasource的用戶不受影響,不需要做任何變更。 

2. 關鍵特性

  • 支持在hoodie.properties指定hoodie.compaction.payload.class配置項來重寫palyload實現,在此之前一旦在hoodie.properties中設置了payload類便不可更改。但是在一些情況下,比如進行代碼重構后jar包更新,可能需要傳遞新的payload實現,如果你有這種需求,不妨嘗試使用這個特性。

  • TimestampBasedKeyGenerator支持CharSequence類型,之前TimestampBasedKeyGenerator只支持DoubleLongFloatString四種分區字段類型,現在擴展到可以支持CharSequence的分區字段類型。

  • Hudi現在支持通過hoodie.datasource.read.incr.path.glob配置項來指定分區進行增量拉取,一些場景下用戶只需要增量拉取部分分區,這樣通過只加載相關Parquet數據文件來加速數據拉取。

  • 0.5.2版本支持在GLOBAL_BLOOM索引下,允許分區路徑更新。在此之前設置GLOBAL_BLOOM索引,更新的記錄有不同的分區路徑時,Hudi會忽略新的分區路徑并在之前舊分區更新記錄,現在Hudi支持在新的分區插入數據并且刪除老的分區數據,通過hoodie.index.bloom.update.partition.path=true配置項可以開啟這個特性。

  • 0.5.2版本通過提供JdbcbasedSchemaProvider來支持通過JDBC獲取元數據。這對于一些想從MySQL同步數據并且想從數據庫中獲取schema的用戶非常有用。

  • 0.5.2版本對于HoodieBloomIndex索引已不再有2GB大小的限制,在spark 2.4.0版本之前,每個spark分區有2GB大小的限制,在Hudi 0.5.1時將spark的版本升級到了2.4.4,現在便不再有任何限制,因此移除了HoodieBloomIndex中對于安全并行度的計算邏輯。

  • CLI相關變更

  1. 允許用戶指定配置項來打印附加的commit元數據,比如Log Block總數,Rollback Block總數,壓縮、更新總條數等等。

  2. 支持temp_querytemp_delete來查詢和刪除臨時視圖,該命令會創建一個臨時表,用戶可以通過HiveQL來查詢該表數據,如

java temp_query --sql "select Instant, NumInserts, NumWrites from satishkotha_debug where FileId='ed33bd99-466f-4417-bd92-5d914fa58a8f' and Instant > '20200123211217' order by Instant"

讀到這里,這篇“Apache Hudi 0.5.2版本有哪些特性”文章已經介紹完畢,想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領會,如果想了解更多相關內容的文章,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

阳西县| 盘锦市| 石狮市| 砚山县| 河津市| 舒兰市| 武平县| 乡宁县| 房山区| 广南县| 商丘市| 乳源| 阳西县| 哈密市| 淮北市| 开江县| 新宾| 泰州市| 湖州市| 三明市| 察雅县| 巧家县| 临夏县| 新营市| 吴忠市| 当阳市| 光山县| 长春市| 天峻县| 乐昌市| 海阳市| 科尔| 龙游县| 喀喇沁旗| 黔南| 眉山市| 双辽市| 昌都县| 西乌珠穆沁旗| 文水县| 乐平市|