Hadoop集群搭建常用的配置文件包括:
core-site.xml:配置Hadoop的核心參數,如文件系統、數據塊大小、HDFS副本數等。
hdfs-site.xml:配置HDFS的相關參數,如NameNode和DataNode的地址、副本數、數據塊大小等。
mapred-site.xml:配置MapReduce的相關參數,如JobTracker和TaskTracker的地址、任務槽數、任務重試次數等。
yarn-site.xml:配置YARN的相關參數,如ResourceManager和NodeManager的地址、節點資源分配器、容器的最大資源限制等。
slaves:指定Hadoop集群中的工作節點,每行一個節點名稱或IP地址。
hadoop-env.sh:配置Hadoop的環境變量,如JAVA_HOME、HADOOP_HOME等。
yarn-env.sh:配置YARN的環境變量,如JAVA_HOME、YARN_HOME等。
mapred-env.sh:配置MapReduce的環境變量,如JAVA_HOME、HADOOP_MAPRED_HOME等。
這些配置文件通常位于Hadoop的安裝目錄下的conf文件夾中。根據具體的部署需求和環境配置,可以對這些配置文件進行相應的修改。