Java中用内存映射处理大文件的实现代码

所属分类: 软件编程 / java 阅读数: 58
收藏 0 赞 0 分享

在处理大文件时,如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作,都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

package test; 
 
import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.RandomAccessFile; 
import java.nio.MappedByteBuffer; 
import java.nio.channels.FileChannel; 
 
public class Test { 
 
   
  public static void main(String[] args) { 
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=fis.read())>=0){ 
          sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      BufferedInputStream bis=new BufferedInputStream(fis); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=bis.read())>=0){ 
          sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    MappedByteBuffer buffer=null; 
    try { 
      buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      for(int i=0;i<1253244;i++){ 
        n=0x000000ff&buffer.get(i); 
        sum+=n; 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } catch (IOException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
 
  } 
 
} 

测试文件为一个大小为1253244字节的文件。测试结果:

sum:220152087  time:1464

sum:220152087  time:72

sum:220152087  time:25

说明读数据无误。删去其中的数据处理部分。

package test; 
 
import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.RandomAccessFile; 
import java.nio.MappedByteBuffer; 
import java.nio.channels.FileChannel; 
 
public class Test { 
 
   
  public static void main(String[] args) { 
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=fis.read())>=0){ 
          //sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      BufferedInputStream bis=new BufferedInputStream(fis); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=bis.read())>=0){ 
          //sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    MappedByteBuffer buffer=null; 
    try { 
      buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      for(int i=0;i<1253244;i++){ 
        //n=0x000000ff&buffer.get(i); 
        //sum+=n; 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } catch (IOException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
 
  } 
 
} 

测试结果:

sum:0  time:1458

sum:0  time:67

sum:0  time:8

由此可见,将文件部分或者全部映射到内存后进行读写,速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域,被当成一个字节数组进行处理,读写操作直接对内存进行操作,而后再将内存区域重新映射到外存文件,这就节省了中间频繁的对外存进行读写的时间,大大降低了读写时间。

以上这篇Java中用内存映射处理大文件的实现代码就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

更多精彩内容其他人还在看

Java基于反射机制实现全部注解获取的方法示例

这篇文章主要介绍了Java基于反射机制实现全部注解获取的方法,结合实例形式分析了java反射机制获取注解的具体实现方法与操作注意事项,需要的朋友可以参考下
收藏 0 赞 0 分享

Java 信号量Semaphore的实现

这篇文章主要介绍了Java 信号量Semaphore的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
收藏 0 赞 0 分享

eclipse+maven+spring mvc项目基本搭建过程

这篇文章主要介绍了eclipse+maven+spring mvc项目基本搭建过程,本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

Spring boot集成swagger2生成接口文档的全过程

这篇文章主要给大家介绍了关于Spring boot集成swagger2生成接口文档的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Spring boot具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
收藏 0 赞 0 分享

Java冒泡排序法和选择排序法的实现

这篇文章主要介绍了Java冒泡排序法和选择排序法的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
收藏 0 赞 0 分享

Spring Cloud Alibaba教程之Sentinel的使用

这篇文章主要介绍了Spring Cloud Alibaba教程之Sentinel的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
收藏 0 赞 0 分享

Josephus环的四种解法(约瑟夫环)基于java详解

这篇文章主要介绍了Josephus环的四种解法(约瑟夫环)基于java详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
收藏 0 赞 0 分享

Java继承Thread类创建线程类示例

这篇文章主要介绍了Java继承Thread类创建线程类,结合实例形式分析了java线程操作相关使用技巧与注意事项,需要的朋友可以参考下
收藏 0 赞 0 分享

Java使用Callable和Future创建线程操作示例

这篇文章主要介绍了Java使用Callable和Future创建线程操作,结合实例形式分析了java使用Callable接口和Future类创建线程的相关操作技巧与注意事项,需要的朋友可以参考下
收藏 0 赞 0 分享

springBoot使用JdbcTemplate代码实例

这篇文章主要介绍了springBoot使用JdbcTemplate代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多