超大文本文件如何才能读取里面的数据(40G)
现在有一个将近40G的文本文件,想读取里面的数据,里面只用两列数据,求大神们指点,最好用程序读取,如Java或者matlab,希望提供以下代码。感谢大神们的回复。 文本文档 程序 文本文档 程序 超大数据 --------------------编程问答-------------------- 难道是金融行业的?谁要40G文件啊。。。。。
帮你顶下算了
好像DOS有命令TYPE可以显示前面一部分内容,MORE到文本文件里处理吧 --------------------编程问答-------------------- 不知道文件格式,随便说两句:
java 的 writer类 用 readline方法一行一行读 --------------------编程问答-------------------- 您想怎么读? 读什么? 文件格式? 文本还是二进制? --------------------编程问答-------------------- 就想读入程序里面 然后好进行下一步的处理工作,比如作图或者计算里面的各种指标。不是二进制的 是两列微博数据,就是用户的Id,表示关注关系的,我想把它读到程序里面做进一步处理,可现在还没找到解决办法。谢谢你们的回复啦! --------------------编程问答-------------------- 这个估计不行 因为文件太大了 内存都支持不了!
补充:Java , Java相关