高并发流媒体服务器寻求解决方案

newphp · 发表于 2013-1-8 23:18:55

本帖最后由 newphp 于 2013-1-8 23:20 编辑

我现在遇到一个非常纠结的问题。
公司做的是E文视频站，因为成本的问题，没有做分布式架构，现在就只用一台服务器，12块2T的硬盘，1G的带宽，12块硬盘做了raid0，做视频流的。
现在的问题是某些热门片子请求量太大，做了raid0的硬盘都遇到了IO瓶颈。
因为在FB上在做推广，有时候一个几百M的文件，同时被一百多个人请求，导致IO wait非常高，正常情况下带宽跑500M带宽没问题，非常轻松，当只要某一个文件被大量请求的时候，带宽最多只能跑120M。
如果是小文件可以用squid或varnish来做缓存，但是文件太大，有点不太现实，服务器上现在近10T的mp4。
这里说的某一个文件，这个文件不固定，可能这个小时是a.mp4，过了一个小时就是b.mp4，再过一个小时又是x.mp4，完全是随机的，无法精确到某一个文件。

现在我只能人肉检测，预先将一部份文件，比如说今天更新的片子，移到/dev/shm，然后监测只要发现某个文件请求量有升高的趋势，我现在是用lsof -c httpd获得文件被打开的情况，马上就把它复制到/dev/shm，然后再将原文件改名，并做软链接到/dev/shm里所对应的文件。
现在正在写自动检测程序，让机器去做那些机械的工作。

就是不知道有没有其它更好的解决方案，能缓解硬盘IO的问题，分布式因为成本的问题就不用考虑了。

vagaa · 发表于 2013-1-8 23:20:02

找专业人士

gaogeli · 发表于 2013-1-8 23:27:13

有1G的带宽可以用啊，这个费用随便分出一点来就能买十台服务器了吧

wmfy808 · 发表于 2013-1-8 23:28:16

做这个只有p2p才是王道！否则做不大，大了必死！

嫂子抱紧我 · 发表于 2013-1-8 23:32:25

ssd缓存量大的

嫂子抱紧我 · 发表于 2013-1-8 23:36:00

不是全部用ssd 程序判断热片就转移到ssd 一定时间没请求就删除

拉里佩奇 · 发表于 2013-1-8 23:36:54

raid0？真是牛逼啊。一块坏了，数据全部丢失，起码做个raid5。我怎么感觉这样的话，速度应该很快的啊。读速度应该是n块的总和

newphp · 发表于 2013-1-8 23:39:35

拉里佩奇发表于 2013-1-8 23:36

raid0？真是牛逼啊。一块坏了，数据全部丢失，起码做个raid5。我怎么感觉这样的话，速度应该很快的啊。读速 ...
raid0的写入速度没话说，但是读取速度在频繁单读某个区域的时候跟单盘差不多。
如果用raid5还不如用raid6，raid6在写方面不行，在读方面性能非常好。

loveminds · 发表于 2013-1-8 23:41:00

rtsp?mms?
http://www.chinanetcenter.com/pro_cdn_lmt.html

domin · 发表于 2013-1-8 23:41:00

ssd缓存即可. adaptec maxcache或者 lsi的cachecade.

		自动登录	找回密码
密码			立即注册