要使用shell腳本執行Hadoop命令,可以按照以下步驟操作:
創建一個新的文本文件,并使用任何文本編輯器打開它(如vi、nano等)。
在文件的第一行添加以下內容,以告知操作系統要使用哪個解釋器來執行該腳本:
#!/bin/bash
#!/bin/bash
hadoop fs -mkdir /user/myuser
hadoop fs -put /path/to/local/file /user/myuser/input
hadoop jar /path/to/hadoop-jar.jar input output
hadoop fs -cat /user/myuser/output/part-00000
此示例腳本依次執行以下操作:
創建一個名為“/user/myuser”的Hadoop文件夾
將本地文件復制到Hadoop文件系統的“/user/myuser/input”目錄下
運行一個Hadoop作業,將輸入文件從“/user/myuser/input”讀取,并將輸出寫入“output”目錄
使用Hadoop命令-cat
將輸出文件的內容打印到終端
可根據具體需求自行調整和添加命令。
保存并關閉文件。
將文件保存為具有.sh擴展名的文件(例如,myscript.sh)。
在終端中導航到腳本所在的目錄。
使用以下命令來給腳本添加執行權限:
chmod +x myscript.sh
./myscript.sh
或者,如果腳本位于系統的PATH目錄中,可以直接運行:
myscript.sh
執行腳本后,系統將按照順序執行腳本中的Hadoop命令。