问MJJ关于虚拟化的问题，如何确保计算资源尽可能的独立

一生xf

自己实验室里面要做大数据科研，但是实验室只有一台母的服务器。但是大数据肯定要多个机器，打算在这个母机上面进行虚拟化，但是想虚拟化出来的小鸡不会互相影响对方的性能，这样会影响实验的精度。请问用什么虚拟化技术管理，要求能够限制硬盘IO速度，网卡速度，且确保小鸡之间的计算资源互相隔离，尽可能的不会互相影响。

后序可能还会买服务器，最好这个虚拟化软件能把多个服务器组在一起。现在用的是 proxmox，但是感觉计算资源隔离的效果不是很好，还是我的操作方式不对。

tir

KVM 可以限制CPU  带宽上行下行 和内存  你如果不超开，就可以实现完全独立

一生xf

tir 发表于 2020-4-27 15:36

KVM 可以限制CPU  带宽上行下行 和内存  你如果不超开，就可以实现完全独立 ...
也就是我在proxmox中创建KVM的主机，然后不超开就行了？

fatal

全国各行各业都在搞大数据。。。几乎所有的大学也热衷。。。其实真的出成果的有几个。。。

kenutu

KVM肯定多少回影响点的，没搞过，但是猜测，比如温度的问题，同时搞的话，峰值问题。

一生xf

fatal 发表于 2020-4-27 15:40

全国各行各业都在搞大数据。。。几乎所有的大学也热衷。。。其实真的出成果的有几个。。。 ...
其实吧，现在大学热衷的是机器学习，大数据不咋火了。

然后我们大数据研究的方向其实是偏底层的，分布式计算这块。大数据里面又分存储，计算，网络，容错等等，其实里面深究都是有很多门道的。以前我也是这么觉得的，然后多看看论文才发现是自己才是最无知的那个。

一生xf

kenutu 发表于 2020-4-27 15:45

KVM肯定多少回影响点的，没搞过，但是猜测，比如温度的问题，同时搞的话，峰值问题。 ...
一点的话问题不大

kenutu

一生xf 发表于 2020-4-27 15:50

一点的话问题不大
差距大了。你提到了精度的问题。

fatal

一生xf 发表于 2020-4-27 15:49

其实吧，现在大学热衷的是机器学习，大数据不咋火了。

然后我们大数据研究的方向其实是偏底层的，分布式 ...

虽然看来你们实验室条件不好
但就你的热情，祝你能出成果

012

可能需要一个公的服务器，生点小的就够了。CPU的话可以通过绑核互不影响。
内存的话只要不超分配就没啥问题。
IO隔离需要你的磁盘写入不经过相同的链路。要是在一个RAID组上，肯定有影响。