Java中使用内存映射实现大文件上传实例

所属分类：软件编程 / java 阅读数： 131

收藏 0赞 0分享

在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

package test;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class Test {

    public static void main(String[] args) {
        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=fis.read())>=0){
                    sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            BufferedInputStream bis=new BufferedInputStream(fis);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=bis.read())>=0){
                    sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        MappedByteBuffer buffer=null;
        try {
            buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            for(int i=0;i<1253244;i++){
                n=0x000000ff&buffer.get(i);
                sum+=n;
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

}

测试文件为一个大小为1253244字节的文件。测试结果：

复制代码代码如下:

sum:220152087 time:1464  

sum:220152087 time:72  

sum:220152087 time:25

说明读数据无误。删去其中的数据处理部分。

复制代码代码如下:

package test;

public class Test {

    public static void main(String[] args) {
        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=fis.read())>=0){
                    //sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            BufferedInputStream bis=new BufferedInputStream(fis);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=bis.read())>=0){
                    //sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        MappedByteBuffer buffer=null;
        try {
            buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            for(int i=0;i<1253244;i++){
                //n=0x000000ff&buffer.get(i);
                //sum+=n;
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

}

测试结果：

复制代码代码如下:

sum:0 time:1458  

sum:0 time:67  

sum:0 time:8

由此可见，将文件部分或者全部映射到内存后进行读写，速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间。

更多精彩内容其他人还在看

Java中使用内存映射实现大文件上传实例

Java实现一个简单的文件上传案例示例代码

详解在spring中使用JdbcTemplate操作数据库的几种方式

java中的switch case语句使用详解

深入理解Java 线程池

详解mybatis #{}和${}的区别、传参、基本语法

MyBatis 中 ${}和 #{}的正确使用方法(千万不要乱用)

详解Mybatis中的 ${} 和 #{}区别与用法

Maven安装过程图文详解

SpringBoot登录拦截配置详解(实测可用)

JAVA 内存溢出案例汇总

网络赚钱

站长故事