hive如何實現分區和分桶

這篇文章主要介紹hive如何實現分區和分桶，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

1、Hive分區表

在Hive Select查詢中一般會掃描整個表內容，會消耗很多時間做沒必要的工作。有時候只需要掃描表中關心的一部分數據，因此建表時引入了partition概念。分區表指的是在創建表時指定的partition的分區空間。 Hive可以對數據按照某列或者某些列進行分區管理，所謂分區我們可以拿下面的例子進行解釋。 
當前互聯網應用每天都要存儲大量的日志文件，幾G、幾十G甚至更大都是有可能。存儲日志，其中必然有個屬性是日志產生的日期。在產生分區時，就可以按照日志產生的日期列進行劃分。把每一天的日志當作一個分區。 
將數據組織成分區，主要可以提高數據的查詢速度。至于用戶存儲的每一條記錄到底放到哪個分區，由用戶決定。即用戶在加載數據的時候必須顯示的指定該部分數據放到哪個分區。 

1.1實現細節

1、一個表可以擁有一個或者多個分區，每個分區以文件夾的形式單獨存在表文件夾的目錄下。 
2、表和列名不區分大小寫。 
3、分區是以字段的形式在表結構中存在，通過describetable命令可以查看到字段存在， 但是該字段不存放實際的數據內容，僅僅是分區的表示（偽列） 。 

1.2語法

1.創建一個分區表，以 ds 為分區列： 
create table invites(id int, name string) partitioned by (ds string) row format delimited fieldsterminated by ' ' stored as textfile; 
2. 將數據添加到時間為 2013-08-16這個分區中： 
load data local inpath'/home/hadoop/Desktop/data.txt' overwrite into table invites partition(ds='2013-08-16'); 
3. 將數據添加到時間為 2013-08-20這個分區中： 
load data local inpath'/home/hadoop/Desktop/data.txt' overwrite into table invites partition(ds='2013-08-20'); 
4. 從一個分區中查詢數據： 
select * from inviteswhere ds ='2013-08-12'; 
5.  往一個分區表的某一個分區中添加數據： 
insert overwrite tableinvites partition (ds='2013-08-12') select id,max(name) from test group by id; 
可以查看分區的具體情況，使用命令： 
hadoop fs -ls /home/hadoop.hive/warehouse/invites 
或者： 
show partitionstablename;

2、Hive桶

對于每一個表（table）或者分區， Hive可以進一步組織成桶，也就是說桶是更為細粒度的數據范圍劃分。Hive也是 針對某一列進行桶的組織。Hive采用對列值哈希，然后除以桶的個數求余的方式決定該條記錄存放在哪個桶當中。

把表（或者分區）組織成桶（Bucket）有兩個理由：

（1）獲得更高的查詢處理效率。桶為表加上了額外的結構，Hive 在處理有些查詢時能利用這個結構。具體而言，連接兩個在（包含連接列的）相同列上劃分了桶的表，可以使用 Map 端連接 （Map-side join）高效的實現。比如JOIN操作。對于JOIN操作兩個表有一個相同的列，如果對這兩個表都進行了桶操作。那么將保存相同列值的桶進行JOIN操作就可以，可以大大較少JOIN的數據量。

（2）使取樣（sampling）更高效。在處理大規模數據集時，在開發和修改查詢的階段，如果能在數據集的一小部分數據上試運行查詢，會帶來很多方便。

1.創建帶桶的 table ：

create tablebucketed_user(id int,name string)clustered by (id) sorted by(name) into 4buckets row format delimited fields terminated by ' ' stored as textfile; 
首先，我們來看如何告訴Hive

—個表應該被劃分成桶。我們使用CLUSTERED BY 子句來指定劃分桶所用的列和要劃分的桶的個數：

 CREATE TABLE bucketed_user(id INT) name STRING) 
CLUSTERED BY (id) INTO 4BUCKETS; 在這里，我們使用用戶ID

來確定如何劃分桶(Hive使用對值進行哈希并將結果除 以桶的個數取余數。這樣，任何一桶里都會有一個隨機的用戶集合（PS：其實也能說是隨機，不是嗎？）。

 對于map

端連接的情況，兩個表以相同方式劃分桶。處理左邊表內某個桶的 mapper知道右邊表內相匹配的行在對應的桶內。因此，mapper只需要獲取那個桶 (這只是右邊表內存儲數據的一小部分)即可進行連接。這一優化方法并不一定要求兩個表必須桶的個數相同，兩個表的桶個數是倍數關系也可以。

用HiveQL

對兩個劃分了桶的表進行連接，可參見“map連接”部分（P400）。

 桶中的數據可以根據一個或多個列另外進行排序。由于這樣對每個桶的連接變成了高效的歸并排序(merge-sort),因此可以進一步提升map

端連接的效率。以下語法聲明一個表使其使用排序桶：

 CREATE TABLE bucketed_users(id INT, name STRING) 
CLUSTERED BY (id) SORTED BY(id ASC) INTO 4 BUCKETS; 我們如何保證表中的數據都劃分成桶了呢？把在Hive

外生成的數據加載到劃分成 桶的表中，當然是可以的。其實讓Hive來劃分桶更容易。這一操作通常針對已有的表。

 Hive并不檢查數據文件中的桶是否和表定義中的桶一致(

無論是對于桶的數量或用于劃分桶的列）。如果兩者不匹配，在査詢時可能會碰到錯 誤或未定義的結果。因此，建議讓Hive來進行劃分桶的操作。

2. 往表中插入數據：

INSERT OVERWRITE TABLEbucketed_users SELECT * FROM users; 物理上，每個桶就是表(

或分區）目錄里的一個文件。它的文件名并不重要，但是桶 n 是按照字典序排列的第 n 個文件。

事實上，桶對應于 MapReduce

的輸出文件分區：一個作業產生的桶(輸出文件)和reduce任務個數相同.

3. 對桶中的數據進行采樣：

hive> SELECT * FROMbucketed_users 
>   TABLESAMPLE(BUCKET 1 OUT OF 4 ON id); 
0 Nat 
4 Ann 桶的個數從1

開始計數。因此，前面的查詢從4個桶的第一個中獲取所有的用戶。 對于一個大規模的、均勻分布的數據集，這會返回表中約四分之一的數據行。我們 也可以用其他比例對若干個桶進行取樣(因為取樣并不是一個精確的操作，因此這個 比例不一定要是桶數的整數倍)。

注：tablesample是抽樣語句，語法：TABLESAMPLE(BUCKET x OUTOF y)
y必須是table總bucket數的倍數或者因子。hive根據y的大小，決定抽樣的比例。例如，table總共分了64份，當y=32時，抽取(64/32=)2個bucket的數據，當y=128時，抽取(64/128=)1/2個bucket的數據。x表示從哪個bucket開始抽取。例如，table總bucket數為32，tablesample(bucket 3 out of 16)，表示總共抽取（32/16=）2個bucket的數據，分別為第3個bucket和第（3+16=）19個bucket的數據。

以上是“hive如何實現分區和分桶”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！