Hadoop3.1.2集群搭建及簡單的排序，統計實現

　　第一部分：Hadoop集群搭建

　　1. 安裝虛擬機Vmware

　　基礎的命令操作不細說，比如什么是根目錄。。。。。

　　1.也可以從官網下載最新的VMware

　　2. 安裝Linux系統

　　2.1 本教程用的是Linux為CentOS-7-x86，在VMware點擊新建，安裝CentOS-7-x86。

　　2.2 安裝完成后，

　　進入root用戶

　　開啟網絡

　　cd /etc/sysconfig/network-scripts

　　ls

　　找到第一個，我的是ifcfg-ens33,

　　然后vi ifcfg-ens33

　　將里面的ONBOOT的值由no改為yes。

　　重啟網絡service network restart

　　然后ping baidu.com能ping通就好了，ctrl c停止。

　　如果輸入(ping baidu.com),能ping通，即可安裝成功。

　　然后 cd ~回到根目錄，安裝tools

　　yum search ifconfig

　　yum install net-tools.x86_64

　　查看ip

　　ifconfig

　　2.3用XShell遠程登陸

　　1.新建

　　2.主機號為查到的ip

　　3.點擊確定，用root用戶登錄，即可成功。

　　(這時候就可以在XShell粘貼復制命令了)

　　3. 下載/安裝jdk

　　3.配置jdk

　　接下來的操作都在XSshell6上操作，可以直接復制。

　　以下操作從根目錄開始(如果不知道當前在哪里，先cd ~即可。

　　下載jdk

　　本文檔有所有所需要的資料，可以選擇性下載。(也可以官網可以自行下載)。

　　下載本文檔所需要的安裝包，xshell里點擊xftp(ctrl+Alt+F),可以直接把window里的文件傳到Linux里。

　　拖到根目錄下。

　　解壓jdk

　　tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/

　　配置環境變量(還在根目錄)

　　[1 ] 打開proflie文件

　　vi /etc/profile

　　[ 2] 將光標移動至文末(shift g可以到末尾)，按i進入編輯模式，在文末添加以下內容

　　export JAVA_HOME=/usr/local/jdk1.8.0_221

　　export PATH=$PATH:$JAVA_HOME/bin

　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

　　[ 3] 按Esc鍵退出編輯，輸入 ：wq 保存并退出文件，執行以下內容使環境變量生效

　　source /etc/profile

　　[ 4] 檢查jdk是否安裝配置成功

　　java -version

　　出現java版本信息，則配置成功，例如

　　java version “1.8.0_221”

　　Java? SE Runtime Environment (build 1.8.0_221-b11)

　　Java HotSpot? 64-Bit Server VM (build 25.221-b11, mixed mode)

　　4. 配置Hadoop

　　4.配置Hadoop

　　[下載hadoop

　　本文檔有所有所需要的資料，可以選擇性下載。(也可以官網可以自行下載)。

　　下載本文檔所需要的安裝包，xshell里點擊xftp(ctrl+Alt+F),可以直接把window里的文件傳到Linux里。

　　拖到根目錄下。

　　解壓hadoop，解壓到哪個目錄可以自行選擇，但是要知道路徑，配置環境變量時需要

　　tar -zxvf hadoop-3.1.2.tar.gz -C /usr/local/

　　配置hadoop

　　[1 ] 配置環境變量

　　vi /etc/profile

　　按i進入編輯模式，在文末添加

　　export HADOOP_HOME=/usr/local/hadoop-3.1.2

　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　按Esc退出編輯，輸入 :wq 保存并退出，執行以下內容使環境變量生效

　　source /etc/profile

　　[2 ] 配置hadoop-env.sh

　　切到/usr/local/hadoop-3.1.2/etc/hadoop目錄下(2-6同在此目錄下)

　　cd /usr/local/hadoop-3.1.2/etc/hadoop

　　進入hadoop-env.sh

　　vi hadoop-env.sh

　　找到 limitations under the License. 在其下一行添加

　　export JAVA_HOME=/usr/local/jdk1.8.0_181

　　按Esc，輸入 :wq 保存并退出

　　[ 3] 配置core-site.xml，修改為以下內容，其中第5行 zz 改為自己的主機名

　　fs.defaultFS

　　hdfs://zz:9000

　　hadoop.tmp.dir

　　/usr/local/hadoop-3.1.2/data

　　[4 ] 配置yarn-site.xml，修改為以下內容，zz 均改為自己的主機名

　　yarn.resourcemanager.hostname

　　zz

　　yarn.resourcemanager.address

　　zz:8032

　　yarn.resourcemanager.scheduler.address

　　zz:8030

　　yarn.resourcemanager.resource-tracker.address

　　zz:8031

　　yarn.resourcemanager.admin.address

　　zz:8033

　　yarn.resourcemanager.webapp.address

　　zz:8088

　　yarn.nodemanager.aux-services

　　mapreduce_shuffle

　　[ 5] 配置hdfs-site.xml，修改為以下內容

　　dfs.replication

　　1

　　[6] 配置mapred-site.xml，修改為以下內容

　　mapreduce.framework.name

　　yarn

　　[7 ] 配置start-dfs.sh和stop-dfs.sh

　　切到/usr/local/hadoop-3.1.2/sbin目錄(7-8在此目錄)

　　cd /usr/local/hadoop-3.1.2/sbin

　　在start-dfs.sh，stop-dfs.sh第二行添加以下內容，因為是root登錄的，不配置會出現錯誤

　　HDFS_DATANODE_USER=root

　　HDFS_DATANODE_SECURE_USER=hdfs

　　HDFS_NAMENODE_USER=root

　　HDFS_SECONDARYNAMENODE_USER=root

　　[8 ] 配置start-yarn.sh，stop-yarn.sh，在第二行添加以下內容

　　YARN_RESOURCEMANAGER_USER=root

　　HADOOP_SECURE_DN_USER=yarn

　　YARN_NODEMANAGER_USER=root

　　5. 設置免密鑰登錄

　　5.免密鑰登錄

　　[1 ] 創建公鑰/私鑰，一路回車

　　ssh-keygen -t rsa

　　[ 2] 創建authorized_keys文件并修改權限為600

　　cd ~/.ssh無錫婦科醫院排行 http://www.0510bhyy.com/

　　touch authorized_keys

　　chmod 600 authorized_keys

　　[ 3] 將公鑰追加到authorized_keys文件中

　　cat id_rsa.pub >> authorized_keys

　　嘗試能否免密登錄，能登陸就成功了，嘗試后，輸入exit退出

　　ssh 自己的主機名

　　6. 防火墻

　　6.防火墻

　　[ 1] 查看防火墻狀態

　　firewall-cmd --state

　　[ 2] 關閉防火墻

　　systemctl stop firewalld.service

　　[3 ] 禁止開機時防火墻自啟

　　systemctl disable firewalld.service

　　7. 啟動Hadoop

　　7.啟動Hadoop

　　[ 1] 格式化hadoop，不要多次格式化，多次格式化會導致DataNode無法正常啟動

　　hadoop namenode -format

　　[2] 啟動&停止hadoop

　　start-all.sh

　　stop-all.sh

　　啟動以后可以輸入jps，看有沒有下面這些進程

　　[root@zz .ssh]# jps

　　8467 NodeManager

　　7860 NameNode

　　7973 DataNode

　　8589 Jps

　　8127 SecondaryNameNode

　　8351 ResourceManager

　　有的話就表示配置成功!

　　第二部分：用MapReduce解決數據排序

　　8. 搭建Hadoop-3.1.2-eclipse環境

　　9. 在eclipse上編譯MapReduce程序

　　10. 打包程序，創建測試文本

　　11. 應用MapReduce進行數據排序