溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章為大家展示了Apache Hudi 異步Compaction部署方式有哪些，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
對于Merge-On-Read表，數據使用列式Parquet文件和行式Avro文件存儲，更新被記錄到增量文件，然后進行同步/異步compaction生成新版本的列式文件。Merge-On-Read表可減少數據攝入延遲，因而進行不阻塞攝入的異步Compaction很有意義。
異步Compaction會進行如下兩個步驟
幾種執行異步Compaction的方法如下
在0.6.0版本，Hudi支持在Spark Structured Streming作業中支持異步Compaction，Compactions在streaming作業內被異步調度和執行，Spark Structured作業在Merge-On-Read表中會默認開啟異步Compaction。
Java代碼示例如下
import org.apache.hudi.DataSourceWriteOptions;import org.apache.hudi.HoodieDataSourceHelpers;import org.apache.hudi.config.HoodieCompactionConfig;import org.apache.hudi.config.HoodieWriteConfig;import org.apache.spark.sql.streaming.OutputMode;import org.apache.spark.sql.streaming.ProcessingTime;DataStreamWriter<Row> writer = streamingInput.writeStream().format("org.apache.hudi").option(DataSourceWriteOptions.OPERATION_OPT_KEY(), operationType).option(DataSourceWriteOptions.TABLE_TYPE_OPT_KEY(), tableType).option(DataSourceWriteOptions.RECORDKEY_FIELD_OPT_KEY(), "_row_key").option(DataSourceWriteOptions.PARTITIONPATH_FIELD_OPT_KEY(), "partition").option(DataSourceWriteOptions.PRECOMBINE_FIELD_OPT_KEY(), "timestamp").option(HoodieCompactionConfig.INLINE_COMPACT_NUM_DELTA_COMMITS_PROP, "10").option(DataSourceWriteOptions.ASYNC_COMPACT_ENABLE_OPT_KEY(), "true").option(HoodieWriteConfig.TABLE_NAME, tableName).option("checkpointLocation", checkpointLocation).outputMode(OutputMode.Append());writer.trigger(new ProcessingTime(30000)).start(tablePath);
Hudi DeltaStreamer提供連續攝入模式，Spark作業可以持續從上游消費數據寫入Hudi，在該模式下，Hudi也支持異步Compaction，下面是在連續模式下進行異步Compaction示例
spark-submit --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.6.0 \--class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer \--table-type MERGE_ON_READ \--target-base-path <hudi_base_path> \--target-table <hudi_table> \--source-class org.apache.hudi.utilities.sources.JsonDFSSource \--source-ordering-field ts \--schemaprovider-class org.apache.hudi.utilities.schema.FilebasedSchemaProvider \--props /path/to/source.properties \--continous
Hudi CLI 是另一種異步執行指定Compaction的方式，示例如下
hudi:trips->compaction run --tableName <table_name> --parallelism <parallelism> --compactionInstant <InstantTime>...
Hudi還提供了獨立工具來異步執行指定Compaction，示例如下
spark-submit --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.6.0 \--class org.apache.hudi.utilities.HoodieCompactor \--base-path <base_path> \--table-name <table_name> \--instant-time <compaction_instant> \--schema-file <schema_file>
Hudi提供了不同的Compaction方式，可根據不同應用場景部署不同Compaction方式。
上述內容就是Apache Hudi 異步Compaction部署方式有哪些，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
