歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux編程 >> Linux編程

使用Eclipse編譯運行MapReduce程序 Hadoop2.4.1

上篇介紹了使用命令行編譯打包運行自己的MapReduce程序,使用 Eclipse 更加方便。要在 Eclipse 上編譯和運行 MapReduce 程序,需要安裝 Hadoop-eclipse-plugin,可使用 Github 上的 hadoop2x-eclipse-plugin,測試環境:

  • Ubuntu 14.04
  • Hadoop 2.4.1
  • Eclipse 3.8

准備工作

安裝好 Eclipse,可在 Ubuntu 軟件中心直接搜索安裝。同時開啟 Hadoop。

安裝 Hadoop-Eclipse-Plugin

下載 hadoop2x-eclipse-plugin ,將 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar (雖然標注的是 2.2.0,但在 2.4.1 下是沒問題的,應該在 2.x 版本下都可以)復制到 Eclipse 安裝目錄的 plugin 文件夾中,運行 eclipse -clean 重啟 Eclipse 即可。Eclipse 的默認安裝目錄為:/usr/lib/eclipse :

cd ~/下載/
unzip ./hadoop2x-eclipse-plugin-master.zip
cd /usr/lib/eclipse
sudo cp ~/下載/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-kepler-plugin-2.2.0.jar ./plugins/
./eclipse -clean

配置 Hadoop-Eclipse-Plugin

(部分圖片直接使用他人的,所以風格不太統一,但不影響)

啟動 Eclipse 後就可以在左側的Project Explorer中看到 DFS Locations(若看到的是 welcome 界面,點擊左上角的 x 關閉就可以看到了)。

安裝好Hadoop-Eclipse-Plugin插件後的效果

--------------------------------------分割線 --------------------------------------

CentOS安裝和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop環境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop環境(單機模式+偽分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop環境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

單機版搭建Hadoop環境圖文教程詳解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop環境(在Winodws環境下用虛擬機虛擬兩個Ubuntu系統進行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

--------------------------------------分割線 --------------------------------------

插件需要進一步的配置。

第一步:選擇 Window 菜單下的 Preference ,然後彈出一個窗體,窗體的左側會多出 Hadoop Map/Reduce 選項,點擊此選項,選擇 Hadoop 的安裝目錄(如/usr/local/hadoop,Ubuntu不好選擇目錄,直接輸入就行)。

選擇 Hadoop 的安裝目錄

第二步:切換 Map/Reduce 工作目錄,選擇 Window 菜單下選擇 Open Perspective –

Other,彈出一個窗體,從中選擇 Map/Reduce 選項即可進行切換。

切換 Map/Reduce 工作目錄

第三步:建立與 Hadoop 集群的連接,點擊 Eclipse軟件右下角的 Map/Reduce Locations 面板,在面板中單擊右鍵,選擇 New Hadoop Location。

建立與 Hadoop 集群的連接

在彈出來的 General 選項面板中進行 Master 的設置,設置要要 Hadoop 的配置一致,如我使用的Hadoop偽分布式配置,設置了 fs.defaultFS 為 hdfs://localhost:9000,則 DFS Master 那的 Post 也應改為 9000。

Location Name 隨意填寫,Map/Reduce Master 的 Host 就填寫你本機的IP(localhost 也行),Port 默認就是 50020。最後的設置如下:

Hadoop Location 的設置

接著再切換到 Advanced parameters 選項面板,這邊有詳細的配置,切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要進行修改。

Hadoop Location 的設置

最後點擊 finish,Map/Reduce Location 就創建好了。

這樣配置就完成了。 

更多詳情見請繼續閱讀下一頁的精彩內容: http://www.linuxidc.com/Linux/2015-02/113490p2.htm

Copyright © Linux教程網 All Rights Reserved