Hive怎么實現WordCount

這篇文章將為大家詳細講解有關Hive怎么實現WordCount，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

1. 創建一個存放源數據的表(外部表)t_words_src, 表中字段line為string類型, 存放一行單詞

源數據示列: 

hello,tom
hello,jerry
hello,kitty
hello,world
hello,tom

hive> create external table t_words_src (line string)
row format delimited
fields terminated by '\n'    # 按\n來切分字段, 一行就是一個字段
location '/wc/input';    # 源數據路徑為 'hdfs://node1:9000/wc/input' 

hive> select * from t_words;
OK
hello,tom
hello,jerry
hello,kitty
hello,world
hello,tom

2. 創建一個存放所有單詞的表t_words, 表中字段word為string類型, 存放單詞

hive> create table t_words (word string);
hive> insert into table t_words select explode(split(line,',')) as word from t_words_src;

hive> select * from t_words;
OK
hello
tom
hello
jerry
hello
kitty
hello
world
hello
tom

3. 創建一個存放WordCount結果的表t_wc_result, 表中字段word為string類型, 存放單詞, counts為int類型, 存放單詞出現次數

hive> create table t_wc_result (word string, counts int);
hive> insert into table t_wc_result select word as word, count(word) as counts from t_words;

hive> select * from t_wc_result;
OK
hello	5
jerry	1
kitty	1
tom	2
world	1

相對MapReduce來說, Hive的HQL版WordCount寫起來代碼量少很多, 但他們的思想都是一樣的

關于Hive怎么實現WordCount就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。