python 如何連接hive

這篇文章將為大家詳細講解有關python 如何連接hive，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

python連接hive的幾種方式

·基于pyhive連接hive。

·基于impyla連接hive。

方法一：使用PyHive庫

安裝依賴包：其中sasl安裝可能會報錯，可以去https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下載對應版本安裝。

pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive

Python腳本代碼操作：

from pyhive import hive   # or import hive
conn = hive.Connection(host='****', port=****, username='****', database='****')
cursor.execute(''SELECT * FROM my_awesome_data LIMIT 10'')
for i in range(****):
    sql = "INSERT INTO **** VALUES ({},'username{}')".format(value, str(username))
    cursor.execute(sql)
  
# 下面是官網代碼：
from pyhive import presto  # or import hive
cursor = presto.connect('localhost').cursor()
cursor.execute('SELECT * FROM my_awesome_data LIMIT 10')
print(cursor.fetchone())
print(cursor.fetchall())

方法二：使用impyla庫

impyla依賴包：

pip install six
pip install bit-array
pip install thriftpy

為了支持Hive還需要以下兩個包：

pip install sasl
pip install thrift-sasl

可在Python PyPI中下載impyla及其依賴包的源碼

Python腳本代碼：

from impala.dbapi import connect 
conn = connect(host ='****'，port = ****）
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
print cursor.description   # 打印結果集的schema 
results = cursor.fetchall()

關于python 如何連接hive就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。