系统架构问题
现在需要处理一大批数据(上千万),要求同时处理,实时性要求高,而且各个数据之间需要进行通信,大概每秒处理一次,然后保存结果,接下来,在上一批结果的基础上再进行处理,保存,重复操作。求推荐系统架构和存储技术。 --------------------编程问答-------------------- 貌似hadoop可以处理你说的问题。 --------------------编程问答-------------------- 处理一批数据,千万级别,数据之间要通信这需求完全看不懂,把你的需求描述得详细一点
千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩 --------------------编程问答-------------------- 数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。 --------------------编程问答--------------------
不知道你有没有实测过,千万数据,加好索引别说oracle,连mysql都可以搞定 --------------------编程问答--------------------
数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。
处理一批数据,千万级别,数据之间要通信
这需求完全看不懂,把你的需求描述得详细一点
千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩
不知道你有没有实测过,千万数据,加好索引别说oracle,连mysql都可以搞定
补充:Java , Java EE