Hadoop是用作處理大數據用的,核心是HDFS、Map/Reduce。雖然目前工作中不需要使用這個,但是,技多不壓身,經過虛擬機很多遍的嘗試,終於將Hadoop2.5.2的環境順利搭建起來了。
首先准備一個CentOS,將主機名改為master,並且在/etc/hosts裡面加入master對應的本機ip地址。
Linux基本配置
?
然後關閉iptables並設置開機不啟動。
?
重啟系統,接下來是配置ssh無密碼登陸。配置這個的理由是在啟動hadoop可以不用輸入密碼。
SSH無密碼登陸
?
JDK安裝配置(略)
使用的版本是jdk-7u79-linux-x64。
安裝並配置Hadoop2.5.2
將下載好的tar.gz包上傳至環境。
?
至此,已經將Hadoop初步的環境配置好了,在啟動之前還需要格式化namenode。
輸入命令“hadoop namenode -format”;
啟動命令:
start-dfs.sh
start-yarn.sh
停止命令:
stop-dfs.sh
stop-yarn.sh
啟動完畢,打開浏覽器輸入 http://192.168.1.112:50070 與 http://192.168.1.112:18088 驗證安裝。
測試Hadoop
通過運行hadoop自帶的wordcount來驗證安裝是否正確。
進入hadoop安裝的目錄,輸入以下命令。
?
編輯file1.txt與file2.txt
?
hello zhm
hello hadoop
hello cz
?
hadoop is ok
hadoop is newbee
hadoop 2.5.2
?
到這裡,環境就已經配置好了,下面就是搞使用Maven開發Hadoop項目了。
HDFS常用命令
創建HDFS文件夾
在根目錄創建input文件夾
Text | 復制
在用戶目錄創建input文件夾
說明:如果不指定“/目錄”,則默認在用戶目錄創建文件夾
Text | 復制
查看HDFS文件夾
查看HDFS根文件夾
Text | 復制
查看HDFS用戶目錄文件夾
Text | 復制
查看HDFS用戶目錄文件夾下input文件夾
Text | 復制
復制文件到HDFS
Text | 復制
刪除文件夾
Text | 復制
10參考資料
單機偽分布式搭建教程:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
集群環境搭建教程:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html