MapReduce中Map數量的控制

InputFormat這個類是用來處理Map的輸入數據的，任務開始時，InputFormat先將HDFS裡所有輸入文件裡的數據分割成邏輯上的InputSpilt對象

這裡的split是HDFS中block的部分或者一整塊或幾個快中的數據的邏輯分割，一個split對應於一個Map，所以Map的數量是由split的數量決定的。

那麼怎樣去確定InputSpilt的個數呢，下面列出於split個數相關的配置參數：

numSplits：來自job.getNumMapTasks()，即在job啟動時用org.apache.Hadoop.mapred.JobConf.setNumMapTasks(int n)設置的值，給M-R框架的Map數量的提示。

minSplitSize：默認為1，可由子類復寫函數protected void setMinSplitSize(long minSplitSize) 重新設置。一般情況下，都為1，特殊情況除外。

blockSize：HDFS的塊大小，默認為64M，一般大的HDFS都設置成128M。

long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits);
long minSize = Math.max(job.getLong("mapred.min.split.size", 1), minSplitSize);

for (FileStatus file: files) {
  Path path = file.getPath();
  FileSystem fs = path.getFileSystem(job);
  if ((length != 0) && isSplitable(fs, path)) {
    long blockSize = file.getBlockSize();
    long splitSize = computeSplitSize(goalSize, minSize, blockSize);
   
    long bytesRemaining = length;
    while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
      String[] splitHosts = getSplitHosts(blkLocations,length-bytesRemaining, splitSize, clusterMap);
      splits.add(new FileSplit(path, length-bytesRemaining, splitSize, splitHosts));
      bytesRemaining -= splitSize;
    }

    if (bytesRemaining != 0) {
      splits.add(new FileSplit(path, length-bytesRemaining, bytesRemaining, blkLocations[blkLocations.length-1].getHosts()));
    }
  } else if (length != 0) {
    String[] splitHosts = getSplitHosts(blkLocations,0,length,clusterMap);
    splits.add(new FileSplit(path, 0, length, splitHosts));
  } else {
    //Create empty hosts array for zero length files
    splits.add(new FileSplit(path, 0, length, new String[0]));
  }
}

return splits.toArray(new FileSplit[splits.size()]);

protected long computeSplitSize(long goalSize, long minSize, long blockSize) {
    return Math.max(minSize, Math.min(goalSize, blockSize));
}

這是關於split個數的Hadoop源碼。

Apache Hadoop 2.2.0 MapReduce1.x向2.x遷移 http://www.linuxidc.com/Linux/2014-06/103209.htm

MapReduce編程實戰 http://www.linuxidc.com/Linux/2014-04/100241.htm

MapReduce--如何設置Reducer的個數 http://www.linuxidc.com/Linux/2014-04/99726.htm

Hadoop之MapReduce自定義二次排序流程實例詳解 http://www.linuxidc.com/Linux/2014-03/98498.htm

Hadoop 使用 MapReduce 排序 思路 http://www.linuxidc.com/Linux/2014-03/98756.htm

Hadoop之MapReduce框架心跳機制分析 http://www.linuxidc.com/Linux/2014-01/95723.htm

更多Hadoop相關信息見Hadoop 專題頁面 http://www.linuxidc.com/topicnews.aspx?tid=13