編譯安裝方式部署Hadoop 2.x 兩節點集群
步驟：
1. 安裝編譯程序必須的軟件，如gcc,cmake,libtool,ncurses-devel,openssl-devel
2. 下載jdk，hadoop源碼包，maven，protobuf等軟件包
3. ssh免密碼、修改環境變量
4. 安裝jdk,maven,protobuf,編譯安裝hadoop源碼包
5. 修改hadoop配置文件
6. 啟動集群
硬件環境：筆記本(VM虛擬機 1G內存)
軟件環境：
OS: Centos 5.9 32位
Jdk: jdk-6u23-linux-i586.bin
Hadoop: hadoop-2.3.0-src.tar.gz
Maven: apache-maven-3.2.1-bin.tar.gz
Protobuf: protobuf-2.5.0.tar.bz2
主機名hadoop1: (namenode,secondaryname,jobtracker)
IP:192.168.137.61
主機名hadoop2: (datanode,tasktracher)
IP:192.168.137.62
1. 安裝編譯程序必須的軟件(gcc,cmake,libtool,ncurses-devel,openssl-devel)，部份軟件包已安裝，略。
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113326.jpg "\")
2. 下載jdk，hadoZ喎?http://www.2cto.com/kf/ware/vc/" target="_blank" class="keylink">vcNS0wuuw/KOsbWF2ZW6jrHByb3RvYnVmtcjI7bz+sPw8L3N0cm9uZz48YnIgLz4NCjxpbWcgYWx0PQ=="這裡寫圖片描述" src="http://www.2cto.com/uploadfile/Collfiles/20160413/2016041309023048.jpg" title="\" />
3. ssh免密碼、修改環境變量(ssh設置跟上周作業一樣略，)
檢查ssh免密碼
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113306.jpg "\")
修改環境變量
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113354.jpg "\")
4. 安裝jdk,maven,protobuf,hadoop
安裝jdk(略)
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113398.jpg "\")
安裝maven
[root@hadoop1 opt]# tar xvf apache-maven-3.2.1-bin.tar.gz
檢查maven
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113465.jpg "\")
安裝protobuf
[root@hadoop1 opt]# tar xvf protobuf-2.5.0.tar.bz2
[root@hadoop1 opt]# cd protobuf-2.5.0/
[root@hadoop1 protobuf-2.5.0]# ./configure
[root@hadoop1 protobuf-2.5.0]# make && make check && make install
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113466.jpg "\")
編譯安裝hadoop
[root@hadoop1 hadoop2.3-src]# mvn clean package -Pdist,native -DskipTests –Dtar
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113439.jpg "\")
查看編譯後生成的文件
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113450.jpg "\")
5. 修改hadoop配置文件
hadoop-env.sh
export JAVA_HOME=/opt/jdk
yarn-env.sh
export JAVA_HOME=/opt/jdk/
slaves
[root@hadoop1 hadoop]# cat slaves
hadoop2
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113415.jpg "\")
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113569.jpg "\")
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113593.jpg "\")
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113575.jpg "\")
復制hadoop到其它節點
[root@hadoop1 opt]# scp -r ./hadoop-2.3.0/ root@hadoop2:/opt/
6. 啟動集群
格式化namenode
[root@hadoop1 hadoop-2.3.0]# ./bin/hdfs namenode –format
啟動hadoop集群
[root@hadoop1 hadoop-2.3.0]# ./sbin/start-all.sh
檢查集群運行情況
![這裡寫圖片描述](/unixlinux/UploadFiles_9426/201703/2017030112113585.jpg "\")
