歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux基礎 >> 關於Linux

Ubuntu11.10下安裝Hadoop1.0.0(單機偽分布式)

環境配置:Ubuntu11.10,Hadoop1.0.0

Ubuntu11.10

安裝ssh

 
1
apt-get install ssh
 
 
安裝rsync
 
 
 
 
1
apt-get install rsync
 
 
配置ssh免密碼登錄
 
 
 
 
1
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
 
 
驗證是否成功
 
 
 
 
1
ssh localhost
 
 
 
 
下載Hadoop1.0.0,JDK
 
新建linux 終端,建立app目錄,Java和Hadoop都將安裝在此目錄中。
 
 
 
1
mkdir /home/app
 
 
接下來,安裝Java和Hadoop,Hadoop解壓即可。
 
 
 
 
1
cd /home/app
2
chmod +x jdk-6u30-linux-i586.bin
3
./jdk-6u30-linux-i586.bin
4
 
5
tar zxf hadoop-1.0.0-bin.tar.gz
 
 
配置JDK環境變量
 
 
 
1
vi /etc/profile
 
 
增加下面語句到最後
 
 
 
 
1
export JAVA_HOME=/home/app/jdk1.6.0_30
2
export PATH=$JAVA_HOME/bin:$PATH
3
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
 
接下來開始配置Hadoop
 
 
進入Hadoop目錄
 
 
 
1
cd /home/app/hadoop-1.0.0
 
 
修改配置文件,指定JDk安裝路徑
 
 
 
 
1
vi conf/hadoop-env.sh
 
 
1
export JAVA_HOME=/home/app/jdk1.6.0_30
 
 
修改Hadoop核心配置文件core-site.xml,這裡配置的是HDFS的地址和端口號
 
 
 
 
1
vi conf/core-site.xml
 
 
1
<configuration>
2
    <property>
3
        <name>fs.default.name</name>
4
        <value>hdfs://localhost:9000</value>  
5
    </property>
6
</configuration>
 
 
修改Hadoop中HDFS的配置,配置的備份方式默認為3,因為安裝的是單機版,所以需要改為1
 
 
 
 
1
vi conf/hdfs-site.xml
 
 
1
<configuration>
2
    <property>
3
        <name>dfs.replication</name>
4
        <value>1</value>
5
    </property>
6
</configuration>
 
 
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
 
 
 
 
1
vi conf/mapred-site.xml
 
 
1
<configuration>
2
    <property>
3
        <name>mapred.job.tracker</name>
4
        <value>localhost:9001</value>
5
    </property>
6
</configuration>
 
 
接下來,啟動Hadoop,在啟動之前,需要格式化Hadoop的文件系統HDFS,進入Hadoop文件夾,輸入下面命令
 
 
 
 
1
bin/hadoop namenode -format
 
 
然後啟動Hadoop,輸入命令
 
 
 
 
1
bin/start-all.sh
 
 
這個命令為所有服務全部啟動。
 
 
最後,驗證Hadoop是否安裝成功。打開浏覽器,分別輸入一下網址:
 
http://localhost:50030    (MapReduce的Web頁面)
 
http://lcoalhost:50070    (HDfS的web頁面)
 
如果都能查看,說明安裝成功。\

 

\

Hadoop分別從三個角度將主機劃分為兩種角色:

第一,劃分為master和slave,即主人與奴隸\

第二,從HDFS的角度,將主機劃分為namenode和datanode(在分布式文件系統中,目錄的管理很重要,管理目錄的就相當於主人,而namenode就是目錄管理者)。

第三,從MapReduce的角度,將主機劃分為JobTracker和TaskTracker(一個job經常被劃分為多個task,從這個角度不難理解它們之間的關系)。

Copyright © Linux教程網 All Rights Reserved