Java讀寫大文本文件（2GB以上）

如下的程序，將一個行數為fileLines的文本文件平均分為splitNum個小文本文件，其中換行符'r'是linux上的，windows的java換行符是'\r\n'：

1. package kddcup2012.task2.FileSystem;  
2.   
3. import java.io.BufferedInputStream;  
4. import java.io.BufferedReader;  
5. import java.io.File;  
6. import java.io.FileInputStream;  
7. import java.io.FileWriter;  
8. import java.io.IOException;  
9. import java.io.InputStreamReader;  
10.   
11. public class FileSplit  
12. {     
13.     public static void main(String[] args) throws IOException  
14.     {  
15.         long timer = System.currentTimeMillis();  
16.         int bufferSize = 20 * 1024 * 1024;//設讀取文件的緩存為20MB   
17.           
18.         //建立緩沖文本輸入流   
19.         File file = new File("/media/Data/畢業設計/kdd cup/數據/userid_profile.txt");  
20.         FileInputStream fileInputStream = new FileInputStream(file);  
21.         BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);  
22.         InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream);  
23.         BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);  
24.           
25.         int splitNum = 112-1;//要分割的塊數減一   
26.         int fileLines = 23669283;//輸入文件的行數   
27.         long perSplitLines = fileLines / splitNum;//每個塊的行數   
28.         for (int i = 0; i <= splitNum; ++i)  
29.         {  
30.             //分割   
31.             //每個塊建立一個輸出   
32.             FileWriter output = new FileWriter("/home/haoqiong/part" + i + ".txt");  
33.             String line = null;  
34.             //逐行讀取，逐行輸出   
35.             for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)  
36.             {  
37.                 output.append(line + "\r");  
38.             }  
39.             output.flush();  
40.             output.close();  
41.             output = null;  
42.         }  
43.         input.close();  
44.         timer = System.currentTimeMillis() - timer;  
45.         System.out.println("處理時間：" + timer);  
46.     }  
47. }  

以上程序處理大文本文件只需要30MB左右的內存空間（這和所設的讀取緩沖大小有關），但是速度不是很快，在磁盤沒有其他程序占用的情況下，將200MB文件分割為112份需要20秒（機器配置：Centrino2 P7450 CPU，2GB DDR3內存，Ubuntu 11.10系統，硬盤最大讀寫速度大約60MB/S）。

另外，對於幾百兆到2GB大小的文件，使用內存映射文件的話，速度會塊一些，但是內存映射由於映射的文件長度不能超過java中int類型的最大值，所以只能處理2GB以下的文件。