55万行的Excel数据导入Sql2000 求高效方法?
A表为个人基本信息B表为缴费信息
这两个表是从oracle库中导出来的,由于个别原因没办法直接导入sql2000所以导出到excel中,而且后经过手动整理部分数据,
现在是循环A表插入到sql2000中的指定表 然后通过grid在B表中查询相应的缴费记录插入到sql2000指定表中
我现在是把两个excel先读入到datatable中 然后用datatable.select() 从b表中查询记录。循环期间还需要对一些数据的格式进行操作:如将一些字符串替换等等
可能是程序写的不好吧 循环很慢 大概8秒一行数据 晕!!
请高手指教,谢谢 --------------------编程问答-------------------- 呵呵,,正巧我也做了一个这样的
不过好像没有你的那么多的Excel数据 我的只有几万行
--------------------编程问答-------------------- 我也是用for做的呀
不过我与的是“储存过程”来实现 的
速度还可以
不是很慢 --------------------编程问答-------------------- csv --------------------编程问答--------------------
我可能写的不好吧 好几个小时才不到1万数据 我哭
请指教 --------------------编程问答-------------------- --------------------编程问答--------------------
我这两个excel有关系的 如果是一个直接导入就行了
请指教 --------------------编程问答-------------------- 你代码写得不够优化,建议检查下代码。 --------------------编程问答--------------------
其实也没什么,就是把数据读到excel中,然后把列取出来 期间有些字符串处理 用存储过程执行
只是嵌套了个循环 --------------------编程问答-------------------- 请高手指教啊 --------------------编程问答-------------------- 用sqlBulkCopy 一次批量插入 别一条条的插入 --------------------编程问答-------------------- 可以在数据库中直接导入的,SQL2000也自带这个工具。 --------------------编程问答-------------------- 楼主是怎样读取EXCEL记录的,
你贴些代码出来才好
要不然咋提建议呢 --------------------编程问答-------------------- 你可以先把2个表都读至sql数据库中,然后再操作。 --------------------编程问答--------------------
读取已经没问题了 我把记录都读到DataTable中了 然后又循环DataTable 插入 --------------------编程问答--------------------
数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作 --------------------编程问答--------------------
天呐,像这样的东西SQL直接可以搞定啊。SELECT CASE WHERE COL = 1 THEN '汉族' WHEN COL = 2 THEN '壮族' END FROM xx表;
而且oracle利用pl/sql developer或者toda是可以直接倒出insert语句的啊。
再者楼主在使用datatable的时候是否设置了主键,设置了主键的datatable在使用select的时候可以提高不少效率呢。 --------------------编程问答-------------------- 其实最高效的做法是,数据格式处理在Oracle数据库里导出时完成,要知道数据库就是处理数据用的,你导出了处理过的数据肯定比你导出后处理快速。至于导入,使用BCP命令即可完成,整个过程无需C#编程,不过需要过硬的数据库操作能力,要问数据库操作方法,这点我还是有自信的。 --------------------编程问答--------------------
如果是这样,关于“民族原来为01 要转为:汉族 类似这样的操作”你可以先导入数字代码01后,再数据库中执行update,将代码数字转换为汉字。 --------------------编程问答-------------------- 貌似一个excel文件根本就不可能支持55w行数据。为什么不写一个程序直接从oracle数据中提取数据呢?
使用sqlBulkCopy类插入数据效率是最好的,应该通过数据库也可以解决的 --------------------编程问答-------------------- 关注 --------------------编程问答-------------------- 数据有没有ID?有的话,按照id或者某种规律来把文件分段,如果吹NB些就是“云”,“分布式”?
用程序,多线程导入,多开些数据库连接和线程吧。
补充:.NET技术 , C#