hive如何開啟lzo壓縮

這篇文章給大家分享的是有關hive如何開啟lzo壓縮的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

hive開啟lzo壓縮

1.Hadoop安裝lzo依賴并進行配置

涉及到jar包的編譯以及core-site文件的配置

• 可以在mapred-site文件中，設置是在map還是reduce端開啟壓縮。在這里只是設置mapreduce的壓縮。hadoop和hive是可以單獨設置的。

2. 在hive中開啟壓縮以及設置壓縮方式

• 在hive客戶端中設置參數，開始hive的map或者reduce端的壓縮。

  set mapred.output.compress=true;
  set hive.exec.compress.output=true;
  
  # 必須是LzopCodec才支持切片
  set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

  
  

3. 創建表指定InputFormat以及OutFormat

CREATE EXTERNAL TABLE ods_log (`line` string) PARTITIONED BY (`dt` string) 
STORED AS  
  INPUTFORMAT  'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/warehouse/gmall/ods/ods_log';

• INPUTFORMAT 是指從表中讀取時，支持從lzo文件中讀取

• OUTPUTFORMAT是指寫入數據到文件，輸入數據的格式

4. 上傳數據到表中

load data inpath '/origin_data/gmall/log/topic_log/2020-06-14' into table ods_log partition(dt='2020-06-14');

將數據導入到hive中后，數據會保存在lzo文件中

5. 為lzo文件創建索引

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /warehouse/gmall/ods/ods_log/dt=2020-06-14

感謝各位的閱讀！關于“hive如何開啟lzo壓縮”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！