怎么样直接控制磁盘
经常看到做云平台,云存储的人说什么合并同一块磁盘的IO,对同一块磁盘的IO调整顺序之类的,优化磁盘IO。我想问的是,怎么样让你能直接控制磁盘的IO啊???
有人能给个例子不?
还有控制内存之类的,这不是操作系统控制的吗?你能直接控制吗? --------------------编程问答-------------------- 下面我主要讲一下我们分布式存储系统易做图,服务调度系统这两个模块一些具体的架构细节。易做图的架构跟Hadoop有很多相似之处。今天我知道Hadoop的System可以自动进行切换,切换在一分钟以内。为了确保我们所有数据不丢,我们整个数据在全链路进行了校验,我们达到10亿规模,还在努力不停的往上提高。在易做图分布式文件系统里面最大一个特点我们把分布式I/O的流水线和后台存储管理分开来了。为什么这么讲?大家知道在通用平台上我们有随机的I/O,有顺序的I/O,有事务性的I/O,其实不同的应用对I/O的一些特征不一样的。比如说谁来负责进行主导复制,客户端不知道这个逻辑,客户端做就是响应很快,可以很快适应系统的漏洞进行调整。另外复制的策略,到底是链式还是新型的复制,链式就是使用带宽比较宽,新型复制响应速度比较快。最后是持久化的一些要求,对事务类的应用你希望写一个记录下去就落盘了,对于大数据处理来说他们并不在乎那么快持久化的水平,他们需要在多少延时以内数据持久化就可以了。我们放在了客户端,提供不同类型的文件适应不同的需要。他们共同使用公共存储管理平台,真正这个I/O落盘怎么处理,我们怎么处理优先级,做冗余恢复,我们把这些放在哪些机器上确保他获得更好的数据可靠性。
这个在单个节点I/O怎么处理,分级事件驱动I/O的一个管理方式,所有I/O的请求先跑到一个队列里面,有一个线程池,每个线程对应一个硬盘,我们确保单个线上的并发度。收到等待队列里面的请求进行排队,这样做原因我们要保证优先级,我们确保QS,低应用可以得到一些带宽,同样优先级我们可以对I/O的请求进行排序减少循道的开销。这样架构的好处是对物理磁盘并发症的控制,又可以享受很多并发客户端的请求。 --------------------编程问答-------------------- http://www.csdn.net/article/2013-12-05/2817724-bdtc2013-aliyun
阿里飞天平台总架构师唐洪:飞天开放平台
例如这段演讲中所说的。 --------------------编程问答-------------------- 好难的问题啊,路过帮顶 --------------------编程问答-------------------- 做这些的人自己配置操作系统,自己编写硬件驱动 --------------------编程问答-------------------- 除 --------------------编程问答-------------------- 除 --------------------编程问答-------------------- 顶,,,期待有人来解答
补充:云计算 , 云存储