现在想在5w条记录中比较重复的记录,如果是两两相互比较,那样要比较49w次,请问有没有快一点的算法??

现在想在5w条记录中比较重复的记录,如果是两两相互比较,那样要比较49w次,请问有没有快一点的算法?? --------------------编程问答-------------------- 先排序一下,然后按顺序来依次比较 --------------------编程问答-------------------- 49W次?  怎么算也算不出49W啊 --------------------编程问答-------------------- 应该按阶乘算 --------------------编程问答-------------------- 要是我就这样考虑
select count（*） from Table where 重复的名称=名称
然后再做判断结果大于1的就是重的，再根据名称去处理
--------------------编程问答-------------------- 先排序吧
以前天天就是做这个  千万上亿的数据中取重复数据,在unix下,用shell,grep,sort之类的命令,可以看看它们的源码 --------------------编程问答-------------------- 查出重復記錄
select 重复的名称 from Table Group By 重复的名称 Having count(重复的名称) > 1 --------------------编程问答-------------------- 排序 应该没什么用吧,我比较的字符串 --------------------编程问答-------------------- 查重复记录然后进行分组是可行的。
如果一次打开50w条数据进行排序是不可能的。只能进行分组统计 --------------------编程问答-------------------- 找一个第三方的 Set容器

补充：.NET技术 ,  C#