当前位置:编程学习 > C#/ASP.NET >>

55万行的Excel数据导入Sql2000 求高效方法?

A表为个人基本信息
B表为缴费信息
这两个表是从oracle库中导出来的,由于个别原因没办法直接导入sql2000所以导出到excel中,而且后经过手动整理部分数据,

现在是循环A表插入到sql2000中的指定表  然后通过grid在B表中查询相应的缴费记录插入到sql2000指定表中
我现在是把两个excel先读入到datatable中 然后用datatable.select() 从b表中查询记录。循环期间还需要对一些数据的格式进行操作:如将一些字符串替换等等 
    可能是程序写的不好吧 循环很慢 大概8秒一行数据 晕!!
请高手指教,谢谢 --------------------编程问答-------------------- 呵呵,,正巧我也做了一个这样的
 不过好像没有你的那么多的Excel数据 我的只有几万行
    --------------------编程问答-------------------- 我也是用for做的呀
  不过我与的是“储存过程”来实现 的
   速度还可以
 不是很慢 --------------------编程问答-------------------- csv --------------------编程问答--------------------
引用 2 楼 server126 的回复:
我也是用for做的呀
   不过我与的是“储存过程”来实现 的
    速度还可以
  不是很慢

我可能写的不好吧 好几个小时才不到1万数据 我哭
请指教 --------------------编程问答-------------------- --------------------编程问答--------------------
引用 3 楼 liherun 的回复:
csv

我这两个excel有关系的 如果是一个直接导入就行了
请指教   --------------------编程问答-------------------- 你代码写得不够优化,建议检查下代码。 --------------------编程问答--------------------
引用 7 楼 m_struggle 的回复:
你代码写得不够优化,建议检查下代码。

其实也没什么,就是把数据读到excel中,然后把列取出来 期间有些字符串处理  用存储过程执行
只是嵌套了个循环  --------------------编程问答-------------------- 请高手指教啊  --------------------编程问答-------------------- 用sqlBulkCopy 一次批量插入 别一条条的插入 --------------------编程问答-------------------- 可以在数据库中直接导入的,SQL2000也自带这个工具。 --------------------编程问答-------------------- 楼主是怎样读取EXCEL记录的,
你贴些代码出来才好
要不然咋提建议呢 --------------------编程问答-------------------- 你可以先把2个表都读至sql数据库中,然后再操作。 --------------------编程问答--------------------
引用 12 楼 sdfkfkd 的回复:
楼主是怎样读取EXCEL记录的,
 你贴些代码出来才好
 要不然咋提建议呢

读取已经没问题了 我把记录都读到DataTable中了 然后又循环DataTable 插入 --------------------编程问答--------------------
引用 11 楼 xinsiyu2008 的回复:
可以在数据库中直接导入的,SQL2000也自带这个工具。

数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作 --------------------编程问答--------------------
引用 15 楼 qxw0816 的回复:
引用 11 楼 xinsiyu2008 的回复:
可以在数据库中直接导入的,SQL2000也自带这个工具。

数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作

天呐,像这样的东西SQL直接可以搞定啊。SELECT CASE WHERE COL = 1 THEN '汉族' WHEN COL = 2 THEN '壮族' END FROM xx表;
而且oracle利用pl/sql developer或者toda是可以直接倒出insert语句的啊。
再者楼主在使用datatable的时候是否设置了主键,设置了主键的datatable在使用select的时候可以提高不少效率呢。 --------------------编程问答-------------------- 其实最高效的做法是,数据格式处理在Oracle数据库里导出时完成,要知道数据库就是处理数据用的,你导出了处理过的数据肯定比你导出后处理快速。至于导入,使用BCP命令即可完成,整个过程无需C#编程,不过需要过硬的数据库操作能力,要问数据库操作方法,这点我还是有自信的。 --------------------编程问答--------------------
引用 15 楼 qxw0816 的回复:
数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作


如果是这样,关于“民族原来为01 要转为:汉族 类似这样的操作”你可以先导入数字代码01后,再数据库中执行update,将代码数字转换为汉字。 --------------------编程问答-------------------- 貌似一个excel文件根本就不可能支持55w行数据。为什么不写一个程序直接从oracle数据中提取数据呢?
使用sqlBulkCopy类插入数据效率是最好的,应该通过数据库也可以解决的 --------------------编程问答-------------------- 关注 --------------------编程问答-------------------- 数据有没有ID?有的话,按照id或者某种规律来把文件分段,如果吹NB些就是“云”,“分布式”?
用程序,多线程导入,多开些数据库连接和线程吧。
补充:.NET技术 ,  C#
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,