一台10G内存的服务器如何解析30G的文件,同时把文件里面不同的数据统计出来。
一台10G内存的服务器如何解析30G的文件,同时把文件里面不同的数据统计出来。 --------------------编程问答-------------------- 30G 的文件。你得分段解析吧。瞎扯两句。 --------------------编程问答-------------------- 信息太少,只能宏观给出建议:流式处理。如果还需要细化,请说明需要统计什么或者说怎么统计。 --------------------编程问答-------------------- 一次读10g到内存,根据解析的条件形成中间文件,然后再把3个中间文件读到内存合并就成为最后的结果 --------------------编程问答-------------------- 使用内存映射文件 MappedByteBuffer分段读取,然后再合并解析结果。 --------------------编程问答-------------------- 统计的数据写文件到磁盘做中转站
补充:Java , Java相关