Arraylist datatable数据量限制
再做一个程序,效率方面已经没得说Arraylist比datatable块的多。
但是在数据量方面,目前也没有很明确的测试。
但是采用Arraylist存储到一定程度会出现OutOfMemoryException的异常。
大约那个时候内存在1.2G左右。数据量在3500万左右。
Arraylist的限制到底是多大,是长度限制还是个数限制。 Arraylist --------------------编程问答-------------------- 这和Arraylist没关系
OutOfMemoryException 是内存泄露
检测内存问题 还有优化数据 3500W 数据 用1.2G 不算大 --------------------编程问答-------------------- --------------------编程问答-------------------- 我明白了,
那我在继续问一下,
我这么做是为了只遍历一次数据,所以才把数据都放在内存中。
我说下我的需求,请高手指点我该怎么做。
我的需要按照如下方式存储数据,
时间1,数据1,数据2,数据3
时间2,数据1,数据2,数据3
数据量很大行可能是20万到50万之间。
我建立数据的过程是,按照行读取数据,并且在读取过程中记录没列坏数据的个数,然后暂存数据在内存中先不输出,直到全部获取完之后,当那个列坏数据超过限制,就删除那列,然后在输出数据。
我的做法是通过创建arraylist的arraylist存储。
第一行是 数据状态行 "",0,0,0
第二行是 数据行: 时间1,数据1,数据2,数据3
第三行是 数据行: 时间2,数据1,数据2,数据3
全部获取完数据,
根据第一行的状态个数,使用arraylist的removeat方法删除不需要的列,
然后输出数据就完了。
这样做数据总数超过3000万的时候容易出现OutOfMemoryException 的问题。
希望高手给于指点
补充:.NET技术 , C#