高并发存储问题解决方案
现在有大概1000个机器的节点用来做3d软件的渲染使用的,3d软件调用的渲染文件来自一个文件服务器,通过网络共享的方式调用。现在1000机器同时渲染的时候,文件服务器的磁盘出现瓶颈,甚至操作系统很卡。目前的硬件配置基本都是顶级,有什么好的架构方案可以解决这样的问题,希望大神出现。
1000节点并发访问一个文件服务器,网络不是瓶颈,磁盘的瓶颈。
1.瓶颈1就是磁盘最快速度只能是500GB/S
2.如果遇到小文件太多,速度就更低,而且操作系统很慢,用的是2008的系统。
--------------------编程问答-------------------- 既然网络不是瓶颈,就不要用网络磁盘共享的方式实时去读文件服务器文件。
大致思路是做个内存cache,把经常使用文件置于这个缓存中。当节点来访问的时候,先遍历cahce,这肯定比你读磁盘快。当在cache找不到情况下,再去读取磁盘内容。
--------------------编程问答-------------------- 除 --------------------编程问答-------------------- 让服务器分层级:
渲染文件 源头的文件服务器 编为0号
其它编为001-999号,它们只能访问 (自己号码/10)号 服务器上的文件,并把文件复制到自己的硬盘,并共享
--------------------编程问答-------------------- 不懂,帮顶。。。 --------------------编程问答-------------------- 文件服务器建立RAID0阵列,读写速度会上升。
补充:云计算 , 云存储