当前位置:  开发笔记 > 编程语言 > 正文

Java:处理大数据量的建议.(部分Deux)

如何解决《Java:处理大数据量的建议.(部分Deux)》经验,为你挑选了1个好方法。

好的.所以我有大量的二进制数据(比方说,10GB)分布在不同长度的一堆文件(比方说5000)上.

我正在编写一个Java应用程序来处理这些数据,我希望为数据访问建立一个好的设计.通常情况会是这样的:

无论如何,在处理过程中将读取所有数据.

每个文件(通常)按顺序读取,一次只需几千字节.但是,通常需要同时具有每个文件的前几千字节,或者同时具有每个文件的中间几千字节等.

有时,应用程序需要随机访问一个或两个字节.

目前我使用RandomAccessFile类读取字节缓冲区(和ByteBuffers).我的最终目标是将数据访问封装到某个类中,以便它快速,我再也不用担心它了.基本功能是我将要求它从指定文件中读取数据帧,并且我希望在上述考虑因素的情况下最小化I/O操作.

典型访问的示例:

给我所有文件的前10千字节!

给我文件F的字节0到999,然后给我字节1到1000,然后给我2到1001等等,...

从文件F开始给我一兆字节的数据,从这样的字节开始!

对优秀设计的任何建议?



1> Will Hartung..:

使用Java NIO和MappedByteBuffers,并将文件视为字节数组列表.然后,让操作系统担心缓存,读取,刷新等细节.

推荐阅读
地之南_816
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有