安裝hadoop要點有哪些

安裝hadoop要點有哪些，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

1、安裝JDK

       tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/

  vi ~/.bash_profile

JAVA_HOME=/root/training/jdk1.7.0_75

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

  source ~/.bash_profile

修改這個vi /etc/selinux/config     SELINUX=disabled

可以查看環境變量 vi /etc/profile

Hadoop配置環境

  vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.4.1

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

使環境變量生效：

source ~/.bash_profile

修改  cd training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

27 #export JAVA_HOME=${JAVA_HOME}

28 export JAVA_HOME=/root/training/jdk1.7.0_75

可以寫一個例子進行測試

I love Beijing

I love China

Beijing is the capital of China

運行：hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount ~/data/input/data.txt  ~/data/output

安裝偽分布模式

<!--數據的冗余度-->

<property>

   <name>dfs.replication</name>

   <value>1</value>

</property>

<!--NameNode的地址-->

<!--9000:RPC通信的端口-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.106.2:9000</value>

</property>

<!--配置數據在dataNode上保存的位置-->

<!---默認:linux的tmp目錄-->

<property>

<name>hadoop.tmp.dir</name>

<value>/root/training/hadoop-2.4.1/tmp</value>

</property>

<!--ResourceManager運行的框架-->

<!---洗牌MR運行的方式-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>192.168.137.111</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

(*) 對HDFS格式化

     hdfs namenode -format

啟動Hadoop

    start-all.sh

-------------免登陸配置------------------

1、產生密鑰對

  ssh-keygen -t rsa

2、公鑰給別人

  ssh-copy-id -i .ssh/id_rsa.pub root@192.168.137.111

  改名：.ssh/authorized_keys

 /root/training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

可以更改緩存

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。