溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了如何使用Python構造hive insert語句，內容簡而易懂，希望大家可以學習一下，學習完之后肯定會有收獲的，下面讓小編帶大家一起來看看吧。
mysql可以使用nevicat導出insert語句用于數據構造，但是hive無法直接導出insert語句。我們可以先打印在hive命令行，然后使用腳本拼裝成insert語句，進行數據構造。
手動copy到python腳本進行sql語句構造：
def transformString(s): list_s = s.split('\t') print(len(list_s)) s_new = '' for item in list_s: s_new += '\"' + item.strip(' ') + '\"' + ',' return str(s_new.rstrip(','))# 為手動copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)結果：
insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");
補充知識：python向hive插入數據遇到的坑
因項目需求，應用python建模需要通過hive取數，并將結果寫入hive表。
嘗試了以下幾條坑爹路，僅做記錄如下：
通過impyla庫搭建hive與python橋梁
1.1 環境配置的坑（回頭放連接）
注: 遠程訪問hive一定要記得配置賬號密碼！！！報錯：。。。-4.。。
1.2 一定不要用impyla中的executemany去批量插入數據，也不要用其他的方式向hive插入數據，都是坑！奇慢無比！找資料也都是說不建議這么做。
長途跋涉hdfs法
2.1 先用python的pyhdfs庫將結果寫成hdfs文件，然后。。。尼瑪！！根本沒成功連上服務器的hdfs，本地hdfs到是可以的
2.2 那既然寫hdfs，我就直接將模型結果通過hadoop/hdfs命令上傳至hdfs。然后， 通過hive命令load data將hdfs中的結果再導入hive。雖然有點繞，但是成功了！！！BUT！！！小兄弟，這個直接操作HDFS風險太高了，要不你還是另尋他法吧，不可以拒絕哦！！！
2.3 好吧，根據建議，使用kafka，抱歉這個坑后面再來踩。
2.4 臨時處理方案：先將結果寫入mysql，再轉入hive，這個沒有坑，具體我也只是寫到mysql，無坑。。就是有點繞。。。
以上就是關于如何使用Python構造hive insert語句的內容，如果你們有學習到知識或者技能，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
