歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux編程 >> Linux編程

MapReduce程序中的萬能輸入FileInputFormat.addInputPaths

寫MapReduce過程中經常會遇到多個源路徑的輸入,我們可以在MapReduce程序主函數中通過FileInputFormat.addInputPaths(job,args[0])方法來實現,

args[0]可以是folder1或者folder1,folder2只要以逗號分隔就可以了。

這樣在執行MR的時候,輸入會將多個源路徑全部多為map輸入進行執行。

另外一種實現單輸入的方法(只支持一個目錄作為輸入目錄):

FileInputFormat.setInputPaths(job, new Path(args[0]));

當然FileInputFormat.addInputPaths是兼容FileInputFormat.setInputPath的,也就是說如果我調用的是多輸入路徑函數,但是輸入數據源只有一個路徑,也是能夠正常執行的,所以通用起見,FileInputFormat.addInputPaths是個更好的選擇。

Spark 顛覆 MapReduce 保持的排序記錄  http://www.linuxidc.com/Linux/2014-10/107909.htm

在 Oracle 數據庫中實現 MapReduce  http://www.linuxidc.com/Linux/2014-10/107602.htm

MapReduce實現矩陣乘法--實現代碼 http://www.linuxidc.com/Linux/2014-09/106958.htm

基於MapReduce的圖算法 PDF  http://www.linuxidc.com/Linux/2014-08/105692.htm

Hadoop的HDFS和MapReduce  http://www.linuxidc.com/Linux/2014-08/105661.htm

MapReduce 計數器簡介 http://www.linuxidc.com/Linux/2014-08/105649.htm

Copyright © Linux教程網 All Rights Reserved