Ubuntu上Hadoop Mapreduce集群搭建

       為了完成計算機綜合實驗的考核，折騰了三天，終於完成了在Hadoop集群上完成了Mapreduce的實驗。但是，後面的考試接踵而至，也就沒能及時寫下心得，考試結束了。趕緊把過程中的步驟和遇到的困難記錄下來，跟大家分享交流一下，廢話少說，入正題。

一、創建Hadoop用戶

~$ sudo addgroup hadoop 
~$ sudo adduser --ingroup hadoop hadoop

      但是，所創建的用戶還不具備admin權限，所以需要賦予admin權限。

~$ sudo gedit /etc/sudoers

# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

      這樣，就可以使用hadoop用戶，並且擁有admin權限了。以下操作，都是在hadoop用戶下進行的。而且，集群中的每一台機器都要創建這樣的用戶，並且在這樣的用戶下進行如下操作。

二、基本准備之JAVA&JDK
     這一部分參見我之前寫的博文：http://my.oschina.net/jamesju/blog/94916

     每一台機器，都要配置好Java環境。不過，話說這部分我的集群上的集群是一個64位3個32位，而且一個是jdk1.7其它的多是openjdk，結果事實證明，沒有問題出現。

三、基本准備之修改/etc/hosts文件

~$ sudo gedit /etc/hosts

127.0.0.1	  localhost
192.168.1.102   zhangju-ThinkPad-T420
192.168.1.107   jojo-Thinkpad-R60
192.168.1.100   ubuntu
192.168.1.104   zhaohui-ThinkPad-X230

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

      集群中的每一台機器，都要填好以上的信息。這裡需要強調的是，我們一開始是用無線路由器配置的，後來，證明速度有些慢，後來改成了網線，建議大家一開始就用網線固定IP地址的分配。

四、安裝配置SSH
     需要注意的事情是，所有的集群都需要關閉防火牆：

~$ sudo ufw disable

~$ sudo apt-get install ssh

     這個安裝完後，可以直接使用ssh命令了。
     執行$ netstat  -nat    查看22端口是否開啟了。
     測試：ssh localhost。
     輸入當前用戶的密碼，回車就ok了。說明安裝成功，同時ssh登錄需要密碼。
   （這種默認安裝方式完後，默認配置文件是在/etc/ssh/目錄下。sshd配置文件是：/etc/ssh/sshd_config）：
      注意：在所有機子都需要安裝ssh。     

     安裝之後：

~$ cd /home/hadoop

~$ ssh-keygen -t rsa

      然後一直回車，完成後，在home跟目錄下會產生隱藏文件夾.ssh。

~$ cd .ssh
~$ ls

~$ cp id_rsa.pub  authorized_keys

     測試：

 ~$ ssh localhost

     第一次ssh會有提示信息：

     The authenticity of host ‘node1 (10.64.56.76)’ can’t be established.
     RSA key fingerprint is 03:e0:30:cb:6e:13:a8:70:c9:7e:cf:ff:33:2a:67:30.
     Are you sure you want to continue connecting (yes/no)?

     輸入 yes 來繼續。這會把該服務器添加到你的已知主機的列表中

     發現鏈接成功，並且無需密碼。

     復制authorized_keys到集群其他機器上，為了保證主節點可以無需密碼自動登錄到其他機器，先在其他機器上執行：

~$ su hadoop
~$ cd /home/hadoop
~$ ssh-keygen -t rsa

    一路按回車.
    然後回到主節點，復制authorized_keys到其他集群的機器上：

~$ cd /home/hadoop/.ssh
~$ scp authorized_keys   node1.2.3.....n:/home/hadoop/.ssh/

    這裡會提示輸入密碼,輸入hadoop賬號密碼就可以了。
    改動你的 authorized_keys 文件的許可權限

~$ sudo chmod 644 authorized_keys

    測試：ssh node1.2.....n（第一次需要輸入yes）。
    如果不須要輸入密碼則配置成功，如果還須要請檢查上面的配置能不能正確。

五、安裝Hadoop

~$ sudo wget http://apache.mirrors.tds.net//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz

    下載安裝包後，直接解壓安裝即可：

~$ tar -zxvfhadoop-0.20.203.0rc1.tar.gz

    注意：

1.安裝Hadoop集群通常要將安裝軟件解壓到集群內的所有機器上。並且安裝路徑要一致，如果我們用HADOOP_HOME指代安裝的根路徑，通常，集群裡的所有機器的HADOOP_HOME路徑相同。

2.如果集群內機器的環境完全一樣，可以在一台機器上配置好，然後把配置好的軟件即hadoop-0.20.203整個   文件夾拷貝到其他機器的相同位置即可。

3.可以將Master上的Hadoop通過scp拷貝到每一個Slave相同的目錄下，同時根據每一個Slave的Java_HOME 的不同修改其hadoop-env.sh 。

4.為了方便，使用hadoop命令或者start-all.sh等命令，修改Master上/etc/profile 新增以下內容：
   export HADOOP_HOME=/home/hadoop/hadoop-0.20.203
   exportPATH=$PATH:$HADOOP_HOME/bin
   修改完畢後，執行source /etc/profile 來使其生效。

集群配置：

配置文件：
conf/core-site.xml

<strong><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
 <name>fs.default.name</name>
  <value>hdfs://192.168.1.102:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/tmp</value>
</property> 

</configuration></strong>

conf/mapred-site.xml

<strong><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
  <name>mapred.job.tracker</name>
  <value>192.168.1.102:9001</value>
</property>
<!--<property>
  <name>mapred.local.dir</name>
 <value>/home/hadoop/hadoop_home/var</value>
</property> -->

</configuration></strong>

conf/hdfs-site.xml

<strong><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<!--<name>dfs.name.dir</name>
<value>/home/hadoop/name1, /home/hadoop/name2</value> #hadoop的name目錄
<description>  </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data1, /home/hadoop/data2</value>
<description> </description>
</property>
<property> -->
  <name>dfs.replication</name>
  <!-- 我們的集群有四個結點，所以rep兩份 -->
  <value>4</value>
</property>

</configuration></strong>

配置masters和slaves主從節點：

     配置conf/masters和conf/slaves來設置主從結點，注意最好使用主機名，並且保證機器之間通過主機名可以互相訪問，每個主機名一行。

<strong>~$ sudo gedit masters</strong>

zhangju-ThinkPad-T420

~$ sudo gedit slaves

jojo-Thinkpad-R60
ubuntu
zhangju-ThinkPad-T420
zhaohui-ThinkPad-X230

     最後,將hadoop文件夾拷貝到集群中的各個機器上：

~$ scp -r /home/hadoop/hadoop [email protected]: /home/hadoop/

六、hadoop啟動以及測試：

~$ cd /home/hadoop/hadoop/bin
~$ hadoop namenode -format

成功情況下系統將輸出類似如下信息：

12/02/06 00:46:50 INFO namenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = ubuntu/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.203.0
STARTUP_MSG:   build =http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203-r 1099333; compiled by 'oom' on Wed May 4 07:57:50 PDT 2011
************************************************************/

12/02/0600:46:50 INFO namenode.FSNamesystem: fsOwner=root,root
12/02/06 00:46:50 INFO namenode.FSNamesystem:supergroup=supergroup
12/02/06 00:46:50 INFO namenode.FSNamesystem:isPermissionEnabled=true
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name1 has been successfully formatted.
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted.
12/02/06 00:46:50 INFO namenode.NameNode:SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode atv-jiwan-ubuntu-0/127.0.0.1
************************************************************/

啟動服務：

~$ start-all.sh

停止服務：

~$ stop-all.sh

查看：
     NameNode - http://node1:50070/
     JobTracker - http://node1:50030/

     如果操作正確，就會看到，集群的節點數，以及所有的相關信息顯示。

七、運行實例

<strong>~$ cd /home/hadoop/hadoop/bin
~$ hadoop fs -mkdir input 
~$ hadoop fs ls 
~$ cd ..
~$ hadoop fs -put NOTICE.txt REDME.txt input 
~$ hadoop fs -ls input
~$ hadoop jar hadoop-examples-1.0.4.jar wordcount input output          </strong>

       然後就可以看到map reduce的過程。

<strong>~$ hadoop fs -ls output 
~$ hadoop fs -cat output/part-r-00000</strong>

       就可以看到相關的程序結果了。

       以上操作就是關於ubuntu上進行hadoop reduce集群的環境搭建，並且進行了測試和實例的運行，在這個基礎上就可以進行mapreduce的學習編程和大數據的處理了。