大量数据的读写，优化读写速度

FileWriter f=new FileWriter("D:/data.txt");

		BufferedWriter buf=new BufferedWriter(f,1024*512);		

		int o=0;	

		while(o<10000){

		int []array=new int[100000];

		for(int i=0;i<array.length;i++)

			array[i]=(int) (Math.random()*1000000);

			int j=0;

			while(j<array.length){	

				buf.write(String.valueOf(array[j]));

				System.out.println(array[j]);

				j++;

			}

			o++;

		}

			buf.close();

public static void main(String[] args) throws Exception {



		long startTime = System.currentTimeMillis();

		

		BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("c:/test.txt"));



		Random rad = new Random();



		long i = 0;

		while (i < 1000000000) {

			bos.write(int2bytes(rad.nextInt()));

			i++;

		}



		bos.flush();

		bos.close();



		System.out.println(System.currentTimeMillis() - startTime);



	}



	static byte[] int2bytes(int i) throws IOException {

		//System.out.println(i);



		int len = 0;// 数字长度

		int index = 10;// 游标

		boolean isNegative = false;// 是否负数

		byte[] buff = new byte[11];// int最大长度为10位,包括符号11位



		if (i < 0) {

			i = 0 - i;

			len++;

			isNegative = true;

		}



		while (i != 0) {

			buff[index--] = (byte) ((i % 10 + 48) & 0xff);

			i /= 10;

			len++;

		}



		if (isNegative) {

			buff[index] = 45 & 0xff;

		}



		byte[] rs = new byte[len];



		System.arraycopy(buff, 11 - len, rs, 0, len);



		return rs;

	}

    /** 

     * int转byte数组 

     *  

     * @param a 

     * @return 

     */  

    public static byte[] int2Byte(int a) {  

        byte[] b = new byte[4];  

        b[0] = (byte) (a >> 24);  

        b[1] = (byte) (a >> 16);  

        b[2] = (byte) (a >> 8);  

        b[3] = (byte) (a);  

  

        return b;  

    }  

long startTime = System.currentTimeMillis();

		FileWriter f=new FileWriter("D:/data.txt");

		BufferedWriter buf=new BufferedWriter(f,1024*512);		

		int o=0;	

		while(o<1000000000){						

				buf.write((int) (Math.random()*1000000));

				o++;

			}

			buf.close();

			System.out.println(System.currentTimeMillis() - startTime);

BufferedWriter buf=new BufferedWriter(f,1024*512);

	static void t8(){

		byte[] buff = new byte[512];//4*128//128个int

		Random rand = new Random(System.currentTimeMillis());

		rand.nextBytes(buff);

		OutputStream out = null;

		

		try{

			out = new FileOutputStream("c:\\test1.data");

			

			long l = System.currentTimeMillis();

			for(int i=0,end=10000*10000*10; i<end; i+=128){

				out.write(buff, 0, 512);

				out.flush();

			}			

			System.out.println(System.currentTimeMillis()-l);

			out.close();

		}catch(Exception ex){

			ex.printStackTrace();

		}

	}

    final int n = 100;

    final int max = 1000000000;



    File file = new File("D:/data.dat");

    DataOutputStream dos = null;

    try {

      dos = new DataOutputStream(new BufferedOutputStream(new FileOutputStream(

          file)));

      for (int i = 0; i < n; i++) {

        int x = (int) (Math.random() * max);

        System.out.println(x);

        dos.writeInt(x);

      }

    } finally {

      if (dos != null) {

        try {

          dos.close();

          dos = null;

        } catch (Exception ex) {

        }

      }

    }

    System.out.println("==========以下为读取===========");

    DataInputStream dis = null;

    try {

      dis = new DataInputStream(new BufferedInputStream(new FileInputStream(

          file)));

      for (int i = 0; i < n; i++) {

        int x = dis.readInt();

        System.out.println(x);

      }

    } finally {

      if (dis != null) {

        try {

          dis.close();

          dis = null;

        } catch (Exception ex) {

        }

      }

    }

public static void main(String[] args) throws Exception {



		long startTime = System.currentTimeMillis();



		BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("c:/test.dat"));



		Random rad = new Random();



		long i = 0;

		while (i < 1000000000) {

			bos.write(int2bytes(rad.nextInt()));

			i++;

		}



		bos.flush();

		bos.close();



		System.out.println(System.currentTimeMillis() - startTime);



	}



	static int bytes2int(byte[] b) {

		return b[0] << 24 + b[1] << 16 + b[2] << 8 + b[3];

	}



	static byte[] int2bytes(int i) {

		byte[] rs = new byte[4];



		rs[0] = (byte) (i >> 24);

		rs[1] = (byte) (i >> 16);

		rs[2] = (byte) (i >> 8);

		rs[3] = (byte) (i);



		return rs;

	}

    byte[] bytes = int2bytes(-1234);

    int x = bytes2int(bytes);

    System.out.println(x);

import java.io.IOException;

import java.io.RandomAccessFile;

import java.nio.MappedByteBuffer;

import java.nio.channels.FileChannel;

import java.nio.channels.FileChannel.MapMode;

import java.util.Random;

import java.util.concurrent.ArrayBlockingQueue;

import java.util.concurrent.BlockingQueue;

import java.util.concurrent.CyclicBarrier;





public class Test_3 {

	static Block POISON = new Block();

	static class Block{

		static enum State{init,writing,finished};

		State stat=State.init;

		int index;

		int[] rand;

	}

	static class RandomThread extends Thread{

		CyclicBarrier barrier;

		BlockingQueue<Block> randomQueue;

		BlockingQueue<Block> writerQueue;

		int max;

		public RandomThread(CyclicBarrier barrier,

				BlockingQueue<Block> randomQueue,

				BlockingQueue<Block> writerQueue,

				int max) {

			super();

			this.barrier = barrier;

			this.randomQueue = randomQueue;

			this.writerQueue = writerQueue;

			this.max = max;

		}



		public void run(){

			Block block = null;

			Random rand = new Random(System.currentTimeMillis());

			try {

				while((block=randomQueue.take())!=POISON){

					for(int i=0;i<block.rand.length;i++){

						block.rand[i] = rand.nextInt(max);

					}

					writerQueue.put(block);

				}

			} catch (InterruptedException e) {

				e.printStackTrace();

			} finally{

				try {

					barrier.await();

				} catch (Exception e) {

					e.printStackTrace();

				}

			}

		}

	}

	static class WriterThread extends Thread{

		BlockingQueue<Block> writerQueue;

		FileChannel channel;

		CyclicBarrier barrier;

		public WriterThread(BlockingQueue<Block> writerQueue,

				FileChannel channel, CyclicBarrier barrier ) {

			super();

			this.writerQueue = writerQueue;

			this.channel = channel;

			this.barrier = barrier;

		}

		public void run(){

			Block block = null;

			try {

				while((block=writerQueue.take())!=POISON){

					MappedByteBuffer buffer = channel.map(MapMode.READ_WRITE, block.index<<2, block.rand.length<<2);

					for(int i=0;i<block.rand.length;i++){

						buffer.putInt(block.rand[i]);

					}

					buffer.force();

				}

			} catch (InterruptedException e) {

				e.printStackTrace();

			} catch (IOException e) {

				e.printStackTrace();

			} finally{

				try {

					barrier.await();

				} catch (Exception e) {

					e.printStackTrace();

				}

			}

		}

	}

	public static void main(String[] args) throws Exception {

		final String fileName="D:\\tmp\\Test_3.data";

		final int count = 500000000;//生成随机数的个数 2,147,483,648

		final int max = 1000000;//随机数的最大值（不包括最大值）

		final int blockSize = 512*1024;//每个任务单元的大小（字节）

		final int randomThread = 1;Runtime.getRuntime().availableProcessors();//生成随机数的线程数

		final int writerThread = 1;Runtime.getRuntime().availableProcessors();//写入数据的线程数

		long start = System.currentTimeMillis();

		int maxNumberOfBlock = blockSize/4;//每个任务单元容纳的随机数的最大个数。

		BlockingQueue<Block> randomQueue = new ArrayBlockingQueue<Block>(randomThread);

		BlockingQueue<Block> writerQueue = new ArrayBlockingQueue<Block>(writerThread);

		RandomThread[] randomThreads = new RandomThread[randomThread];

		WriterThread[] writerThreads = new WriterThread[writerThread];

		CyclicBarrier randomBarrier = new CyclicBarrier(randomThread+1);

		for(int i=0;i<randomThread;i++){

			randomThreads[i] = new RandomThread(randomBarrier, randomQueue, writerQueue, max);

			randomThreads[i].start();

		}

		RandomAccessFile out = new RandomAccessFile(fileName,"rw");

		FileChannel channel = out.getChannel();

		CyclicBarrier writerBarrier = new CyclicBarrier(writerThread+1);

		for(int i=0;i<writerThread;i++){

			writerThreads[i] = new WriterThread(writerQueue, channel, writerBarrier);

			writerThreads[i].start();

		}

		int index = 0;

		for(int i=count;i>0;i-=maxNumberOfBlock){

			Block block = new Block();

			if(i>=maxNumberOfBlock){

				block.rand = new int[maxNumberOfBlock];

				block.index = index;

				index += maxNumberOfBlock;

			}else{

				block.rand = new int[i];

				block.index = index;

				index += i;

			}

			randomQueue.put(block);

		}

		for(int i=0;i<randomThread;i++){

			randomQueue.put(POISON);

		}

		randomBarrier.await();

		for(int i=0;i<writerThread;i++){

			writerQueue.put(POISON);

		}

		writerBarrier.await();

		channel.close();

		long end = System.currentTimeMillis();

		System.out.println(end-start);

	}



}

for (int i = 0; i < n; i++) {

        int x = (int) (Math.random() * max);

        System.out.println(x);

        dos.writeInt(x);

import java.io.FileOutputStream;

import java.nio.ByteBuffer;

import java.nio.channels.FileChannel;

import java.util.Random;





public class Test_4 {



	public static void main(String[] args) throws Exception {

		final String fileName="D:\\tmp\\Test_4.data";

		final int count = 1000000000;//生成随机数的个数 

		final int max = 1000000;//随机数的最大值（不包括最大值）

		final int bufferSize = 512*1024;//缓冲区的大小（字节）

		long start = System.currentTimeMillis();

		Random rand = new Random(System.currentTimeMillis());

		ByteBuffer buffer = ByteBuffer.allocateDirect(bufferSize);

		FileOutputStream out = new FileOutputStream(fileName);

		FileChannel channel = out.getChannel();

		for(int i=0;i<count;){

			buffer.clear();

			for(;buffer.limit()-buffer.position()>4 && i<count;i++){

				buffer.putInt(rand.nextInt(max));

			}

			buffer.flip();

			while(buffer.hasRemaining()) {

			    channel.write(buffer);

			}

			buffer.rewind();

		}

		channel.close();

		out.close();

		long end = System.currentTimeMillis();

		System.out.println(end-start);

		//58287

	}



}

FileWriter f=new FileWriter("D:/data.txt");

		BufferedWriter buf=new BufferedWriter(f,1024*512);		

		int o=0;	

		while(o<1000000000){						

				buf.write((int) (Math.random()*1000000));

				o++;

			}

			buf.close();

	public static void main(String[] args) throws Exception {

		write();

		//read();

	}



	static void write() throws Exception {

		long startTime = System.currentTimeMillis();



		BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("c:/test.dat"));



		Random rad = new Random();



		int max = 1000000;

		int count = 1000000000;

		//int count = 100;



		while (count-- > 0) {			

			// int i = rad.nextInt(max);

			// bos.write(int2bytes(i));

			// System.out.print(i + "\t");



			bos.write(int2bytes(rad.nextInt(max)));

		}



		bos.flush();

		bos.close();



		System.out.println(System.currentTimeMillis() - startTime);

	}



	static void read() throws Exception {

		BufferedInputStream bis = new BufferedInputStream(new FileInputStream("c:/test.dat"));



		byte[] buff = new byte[4];



		while (bis.read(buff) != -1) {



			int i = bytes2int(buff);



			// System.out.print(i + "\t");

		}



		bis.close();

	}



	static int bytes2int(byte[] b) {

		return ((b[0] & 0xff) << 24) + ((b[1] & 0xff) << 16) + ((b[2] & 0xff) << 8) + (b[3] & 0xff);

	}



	static byte[] int2bytes(int i) {

		byte[] rs = new byte[4];



		rs[0] = (byte) ((i >>> 24) & 0xff);

		rs[1] = (byte) ((i >>> 16) & 0xff);

		rs[2] = (byte) ((i >>> 8) & 0xff);

		rs[3] = (byte) (i & 0xff);



		return rs;

	}

BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("c:/test.dat"), 1024 * 1024 * 8);

补充：Java ,  Java SE

上一个：用Httpclient来POST数据，POST不成功
下一个：编译Gvim