溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了python如何訪問hdfs，內容簡而易懂，希望大家可以學習一下，學習完之后肯定會有收獲的，下面讓小編帶大家一起來看看吧。
pip install hdfs
python 讀取hdfs目錄或文件
import hdfs
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
status=client.status(fileDir,False)
if status:
print (status)
rst=client.download(fileDir,"/home/dev/gewei")
print (rst)
exception Exception as e:
print (e)補充知識：用python訪問hdfs出現webhdfs找不到的情況
有可能是webhdfs服務沒有開啟
向hdfs-site.xml文件中添加屬性：
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
可以使用如下命令檢測，
獲得目錄的列表：
curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"
以上就是關于python如何訪問hdfs的內容，如果你們有學習到知識或者技能，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
