码迷,mamicode.com
首页 > 编程语言 > 详细

Java利用内存映射文件实现按行读取文件

时间:2017-08-03 22:42:46      阅读:206      评论:0      收藏:0      [点我收藏+]

标签:except   system   dev   htm   close   target   test   dex   参考   

我们知道内存映射文件读取是各种读取方式中速度最快的,但是内存映射文件读取的API里没有提供按行读取的方法,需要自己实现。下面就是我利用内存映射文件实现按行读取文件的方法,如有错误之处请指出,或者有更好更快的实现方式麻烦也提供一下代码。

代码如下:

public class testMemoryMappedFile {
	
	public static void main(String[] agrs) throws IOException{
		RandomAccessFile memoryMappedFile = new RandomAccessFile("D://test.txt","r");
		int size =(int)memoryMappedFile.length();
		MappedByteBuffer out = memoryMappedFile.getChannel().map(FileChannel.MapMode.READ_ONLY,0,size);
		long start = System.currentTimeMillis();
		//要根据文件行的平均字节大小来赋值
		final int extra = 200;
		int count = extra;
		byte[] buf = new byte[count];
		int j=0;
		char ch =‘\0‘;
		boolean flag = false;
		while(out.remaining()>0){
			byte by = out.get();
			ch =(char)by;
			switch(ch){
				case ‘\n‘:
					flag = true;
					break;
				case ‘\r‘:
					flag = true;
					break;
				default:
					buf[j] = by;
					break;
			}
			j++;
			//读取的字符超过了buf 数组的大小,需要动态扩容
			if(flag ==false && j>=count){
				count = count + extra;
				buf = copyOf(buf,count);
			}
			if(flag==true){
				//这里的编码要看文件实际的编码
				String line = new String(buf,"utf-8");
				System.out.println(line);
				flag = false;
				buf = null;
				count = extra;
				buf = new byte[count];
				j =0;
			}
				
		}
		//处理最后一次读取
		if(j>0){
			String line = new String(buf,"utf-8");
			System.out.println(line);
		}
		
		long end = System.currentTimeMillis();
		System.out.println("耗时:"+(end-start));
	    memoryMappedFile.close();
		
	}
	
	//扩充数组的容量
	public static byte[] copyOf(byte[] original,int newLength){
		byte[] copy = new byte[newLength];
		System.arraycopy(original,0,copy,0,Math.min(original.length,newLength));
		return copy;
	}

}

经过测试,可以达到50M/s的速度,依然比RandomAccessFile按行读取快100倍以上。

注意点:byte[] buf 这个字节数组的大小要动态扩容,如果一直固定的话速度也会比较慢,特别是如果设置很大的话,会更加慢。

参考博客:https://www.ibm.com/developerworks/cn/java/l-javaio/index.html 这个博客值得一看,对各个读取方式的速度做了一个比较,同时自己实现了优化的方法

Java利用内存映射文件实现按行读取文件

标签:except   system   dev   htm   close   target   test   dex   参考   

原文地址:http://www.cnblogs.com/pfblog/p/7282223.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!