前言:Hadoop用於解決大數據處理問題。看到這麼火,咱也來湊把熱鬧,瞧瞧到底是什麼神奇的技術。
實戰過程,還是很波折。畢竟,對這些Hadoop的命令不是很熟。
所幸,天不負有心人,終於跑通了第一個示例。
對我而言,這個的意義,不亞於輸出了開天辟地的“hello world”。
配置過程中出錯時,不要洩氣,一般是由於路徑配置不對引起,可與本文檔對比查錯。
操作系統:Ubuntu 10.04 LTS
JDK:jdk-6u18-linux-i586.bin
Hadoop:hadoop-0.21.0
說明:hadoop版本一定要與本文檔匹配,新版本目錄格式已做修改。
步驟一:配置環境
本步驟參見:Hadoop環境搭建——單節點篇 http://www.linuxidc.com/Linux/2012-03/56691.htm
1、安裝jdk1.6.0_18
1)在usr下面新建一個文件夾Java,然後將jdk復制過來.
sudo mkdir /usr/Java
sudo cp jdk的路徑 /usr/Java
2)進入到Java目錄下,改變文件權限為可執行
cd /usr/Java
sudo chmod u+x jdk-6u18-linux-i586.bin
3)執行安裝
(現象為Unpacking....加一連串解壓信息)
sudo ./jdk-6u18-linux-i586.bin
2、安裝hadoop0.21.0
1)將hadoop0.21.0.tar.gz復制到usr下面的local文件夾內
sudo cp hadoop的路徑 /usr/local
2)進入到local目錄下,解壓hadoop-0.21.0.tar.gz
cd /usr/local
sudo tar -xzf hadoop-0.21.0.tar.gz
3)為了方便管理,將解壓後的文件夾名改為hadoop
sudo mv hadoop-0.21.0 hadoop
3、創建一個名為hadoop的用戶和用戶組
1)創建一個名為hadoop的用戶組
sudo addgroup hadoop
2)創建一個名為hadoop的用戶,歸到hadoop用戶組下
sudo adduser --ingroup hadoop hadoop
3)用gedit打開etc下的sudoers文件
sudo gedit /etc/sudoers
4)在 root ALL=(ALL) ALL 下面添加如下一行,然後保存關閉gedit
hadoop ALL=(ALL) ALL
4、配置環境變量
1)用gedit打開etc下的profile文件
sudo gedit /etc/profile
2)在文件最後加入如下幾行
export CLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_18/jre/lib:$CLASSPATH
export PATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_18/jre/bin:/usr/local/hadoop/bin:$PATH
3)保存後關閉gedit,並重啟機器
sudo reboot
4)重啟後用hadoop用戶登錄,驗證配置是否成功
java -version(驗證java配置是否成功)
5、創建ssh-key
1)確保網絡通暢,然後裝載ssh服務
sudo apt-get install openssh-server
2)創建ssh-key,為rsa
ssh-keygen -t rsa --P
3)將此ssh-key添加到信任列表中,並啟用此ssh-key
cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
sudo /etc/init.d/ssh reload
4)重啟系統