環境:centos7.1+hadoop-2.7.2
下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.2/
准備好虛擬機或者centos系統以及hadoop框架
1、將hadoop解壓到app目錄下
tar zxvf hadoop-2.7.2.tar.gz -C app/
2、修改配置文件
第一個:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/app/jdk1.8.0_91(根據自己配置的jdk路徑為准)
第二個:core-site.xml
fs.defaultFS
hdfs://hadoop(主機名):9000
hadoop.tmp.dir
/home/hadoop/hadoop-2.7.2/tmp
第三個:hdfs-site.xml hdfs-default.xml (3)
dfs.replication
1(根據集群中開啟的datenode個數定)
第四個:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name
yarn
第五個:yarn-site.xml
yarn.resourcemanager.hostname
hadoop01
yarn.nodemanager.aux-services
mapreduce_shuffle
3、將hadoop配置到環境變量
命令:vim /etc/proflie
export JAVA_HOME=/app/jdk1.8.0_91
export HADOOP_HOME=/app/hadoop-2.7.2
export PATH=PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin
[code]命令:source /etc/profile(使環境變量配置文件立即生效)
4、格式化namenode(是對namenode進行初始化)
[code]hdfs namenode -format (hadoop namenode -format)
5、啟動與驗證hadoop
啟動hadoop
先啟動HDFS
sbin/start-dfs.sh
再啟動YARN
sbin/start-yarn.sh
驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
[code]http://192.168.1.101:50070 (HDFS管理界面)http://192.168.1.101:8088 (MR管理界面)
到此為止hadoop環境搭建完成。