当前位置:编程学习 > JAVA >>

系统架构问题

    现在需要处理一大批数据(上千万),要求同时处理,实时性要求高,而且各个数据之间需要进行通信,大概每秒处理一次,然后保存结果,接下来,在上一批结果的基础上再进行处理,保存,重复操作。求推荐系统架构和存储技术。 --------------------编程问答-------------------- 貌似hadoop可以处理你说的问题。 --------------------编程问答-------------------- 处理一批数据,千万级别,数据之间要通信

这需求完全看不懂,把你的需求描述得详细一点

千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩 --------------------编程问答--------------------
引用 2 楼 ygycomon 的回复:
处理一批数据,千万级别,数据之间要通信

这需求完全看不懂,把你的需求描述得详细一点

千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩
数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。 --------------------编程问答--------------------
引用 3 楼 happy7023 的回复:
Quote: 引用 2 楼 ygycomon 的回复:

处理一批数据,千万级别,数据之间要通信

这需求完全看不懂,把你的需求描述得详细一点

千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩
数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。


不知道你有没有实测过,千万数据,加好索引别说oracle,连mysql都可以搞定 --------------------编程问答--------------------
引用 4 楼 ygycomon 的回复:
Quote: 引用 3 楼 happy7023 的回复:

Quote: 引用 2 楼 ygycomon 的回复:

处理一批数据,千万级别,数据之间要通信

这需求完全看不懂,把你的需求描述得详细一点

千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩
数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。


不知道你有没有实测过,千万数据,加好索引别说oracle,连mysql都可以搞定
数量是一个方面的因素,关键在云运算的并发和实时。
补充:Java ,  Java EE
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,