当前位置:编程学习 > JAVA >>

一台10G内存的服务器如何解析30G的文件,同时把文件里面不同的数据统计出来。

一台10G内存的服务器如何解析30G的文件,同时把文件里面不同的数据统计出来。 --------------------编程问答-------------------- 30G 的文件。你得分段解析吧。瞎扯两句。 --------------------编程问答-------------------- 信息太少,只能宏观给出建议:流式处理。

如果还需要细化,请说明需要统计什么或者说怎么统计。 --------------------编程问答-------------------- 一次读10g到内存,根据解析的条件形成中间文件,然后再把3个中间文件读到内存合并就成为最后的结果 --------------------编程问答-------------------- 使用内存映射文件 MappedByteBuffer分段读取,然后再合并解析结果。 --------------------编程问答-------------------- 统计的数据写文件到磁盘做中转站
补充:Java ,  Java相关
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,