求一个快速去重的算法

百万级的手机号码去重
之前用过数据库去重的方式、Hashmap去重、文件去重，效果都不理想
有没有其他什么方法可以快速去重？
首先排除了在内存中操作，直接内存溢出了 --------------------编程问答-------------------- 给个思路：可以把数据放到数据库表中 然后在数据库中用sql语句去重 应该比在内存中去重快的多吧 我一般都是这样解决的 --------------------编程问答-------------------- 用hadoop

补充：Java ,  Web 开发