27

Linux 主力机+多开虚机的最佳实践是什么

 2 years ago
source link: https://www.v2ex.com/t/847541
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

V2EX  ›  Linux

Linux 主力机+多开虚机的最佳实践是什么

  hanssx · 1 天前 · 2806 次点击
前 2 天发了这么一个帖子(已下沉 1 天) https://v2ex.com/t/847100

主要需求:
1. Linux 作主力机,把虚拟机多开的这个需求分离出来,让 PVE 方案来做,当主力机需要用到虚拟机时,就 rdp 或 vnc 到 pve 里面的 windows 或 linux 。
2. 只用来安装 windows 与 linux ,不需要安装 openwrt 、omv 、nas 等。初步想法是在 PVE 里面装一个 windows 7 (用作日常工作沟通、收发邮件、安装 windows 的一些软件比如 X 雷)、一个 windows server 2016 (学习与测试)、一个 ubuntu (学习与测试)、一个 linux mint (学习与测试)。
3. 不考虑 mac ,已习惯 i3wm+mint ,主要是业界这些毒瘤软件不支持 Linux 让人烦。


因为没做过相关实操,有几个问题想请教做过的老哥:
1. 我也知道 pve 里面装 Linux 比较合适,但是需求就是要用 windows ,想问一下,在相同硬件情况下,pve 里面装 windows 虚拟机和普通的 vmware workstation 装 windows 虚拟机的方式,性能差别应该不大吧?如果相差很大,是为什么以及咋解决呢?
2. 如果这套方案可行,我是想把 pve 放到公司 7*24 (主要在公司用电脑嘛,只走内网 RDP 也快,还能用公司电费),硬件体积最好小一些(也不用追求太极致,性能还是最主要的),pve 也是看了几天 youtube 视频才了解一点点(视频杂乱不成系统),硬件选配方面也不懂,我想问一下应该如何学习硬件选配和 pve 虚拟化(有网络基础和 Linux 基础),老哥们有比较推荐的播主或资源论坛吗。
36 条回复    2022-04-19 01:19:02 +08:00

Kiriya

Kiriya      1 天前

四个系统同时启动的话 cpu 上 I7 12700 内存上 64G 就差不多了

linglin0924

linglin0924      1 天前

PVE 很合适。差的那点性能感受不到,或者说用不到。

关于画面,windows 小鸡都是通过 RDP 链接,RDP 帧率本来也不高。

我现在笔记本还是 8 年前的神舟,加到了 32G 内存,常年开着一个 win7 小鸡、一个 Ubuntu 桌面 一个 Debian server

hanssx

hanssx      1 天前

@Kiriya 擦,得上这么高的配置吗?一般情况下需要同时启动 2 个,但是希望满载的时候也能同时启动 4 个,CPU 有必要这么高吗?
@linglin0924 老哥是用笔记本做的 pve ?这 8 年了,一直开着硬盘会没事吗?

hanssx

hanssx      1 天前

关于备份,PVE 应该也没啥大问题吧,PVE 里面有类似 VMware Workstation 那样的快照功能么,如果 PVE 崩了,只要快照在,就能恢复吧?

hanssx

hanssx      1 天前

@Kiriya sorry ,好多年没看硬件了,我寻思 i7 12 代会很贵,jd 一搜 2600 还行不贵。

collo

collo      1 天前

我弄了台闲置电脑装了 PVE ,i7-4790 ,16G

常年跑了个黑群晖,一台 centos 软路由翻墙,一台 debian 偶尔开机测试,一台 win7 。

基本上都是轻度使用,感觉够用,楼主可以参考下。

collo

collo      1 天前

linglin0924

linglin0924      1 天前

@hanssx 中间换过硬盘,没留意。也是感觉读写慢了换的。换下来的接到树莓派上当备份了。

hanssx

hanssx      1 天前

@collo 老哥你这装了不少啊,想问下你是 7*24 吗,哪儿有硬件选配和 PVE 教程啊,现在感觉理解不透,准备先拿台 PC 试试。

@linglin0924 收到

ltkun

ltkun      1 天前 via Android

这个我有发言权 主力 pve 已经快三年了 i9 9900t 128g 内存 3tnvme 大约 60t 机械 all in one 可以看看我写的全私有云 如果升级就搞服务器了 稳定性可能更加好点 现在是省电毕竟家里 但是也稳 最高半年多没重启 一般不折腾不用管 容器开了一堆 容器里 docker 开了一堆 kvm 虚拟机也一堆

ferock

ferock      1 天前 via Android

最废资源的是 win ,j1900 物理安装 win ,成本只需要 700 ,比你虚拟个 win 靠谱多了

aaniao002

aaniao002      1 天前 via Android

intel nuc 猎豹峡谷,注意看不同版本 cpu 跑分,买最高那个。内存 32g ,硬盘 1t m2+2t hdd 。windows ssr ,windows 各种下载器,mysql 专用,win2019 ,准备再挂一个独立 oracle 。lz 那些这配置应该够了。

aaniao002

aaniao002      1 天前 via Android

另外补一句,垃圾 x 雷居然能不卡。

0o0O0o0O0o

0o0O0o0O0o      21 小时 21 分钟前 via iPhone

11 代低功耗轻薄本,核显,64G ,PCIe 3 ,Arch ,virtualbox 里日常开两个 ubuntu server 和一个 ubuntu desktop ,一些 windows 应用被我塞进 docker+wine 里,会开 anbox 运行某些 android 应用,分析东西时 vmware 会开两个完整的 windows 10 ,还会在 win10 里开 android 模拟器。

上一个贴我就说了,内存给够就行了。

chocotan

chocotan      19 小时 21 分钟前

如果各种程序都跑在上面的话,猎豹峡谷的 cpu 性能肯定是不够的
(我现在就是 nuc11 i5 版本装的 arch ,vnc 远程开发,跑一些程序明显感觉太慢,已经计划装一个 12700 的 itx 台式机跑 pve 了,还是看楼主需求吧

Linken404

Linken404      18 小时 54 分钟前

我家里是弄了个 HP gen10 plus 低配版,回来换了 CPU 加了内存,装的 unraid 。现在跑了五六个 docker+4 个虚拟机,有软路由、堡垒机、透明网关、nextcloud 、测试环境等等吧。不过 windows 确实不太行,比 vmware 和 hyper-v 差一些。
PVE 之前用的,感觉性能什么的问题不大,但 windows 同样有上面的问题,感觉像是性能或者优化没那么好,不知道是不是我调配的不合适。

Linken404

Linken404      18 小时 48 分钟前

所以 win 的话最好还是像上面 11 楼说的,弄个低配小机箱物理装一个,不要虚拟化。我家里的 win10 是 k29 那个小机箱,然后之前 pve 软路由不用了之后换下来的 j3455 的板子,自带被动散热,加个 1U 电源就够了,只比个路由器大一圈,被我拿来做直播推流用了,装的 win10 ltsc 2021 性能还不错。

ety001

ety001      18 小时 19 分钟前

我是宿主机 PVE ,然后开一台 Linux 系统虚拟机做主力系统( CPU/显卡都是直通),然后开了两台 Windows 系统虚拟机( CPU 是虚拟核,显示和声音靠 rdp ),windows 系统一个是用来跑类似微信这样不支持 linux 的,一个是用来跑公司 vpn 客户端。另外开了四台虚拟机跑一些服务。

目前整体使用良好。windows 的性能马马虎虎,可用,不拉夸。如果是 windows 主力的话,直通 CPU 和 显卡会好很多。

另外如果懒得搞显卡直通,可以买 usb3.0 接口的扩展显卡,纯办公足够,省心省力,有些 usb3.0 的扩展显卡还额外带声卡,网口和多余的 usb 口(这种的需要额外的驱动支持,只支持 windows )。

下面的截图就是我目前主力系统的桌面(两块显示器)
![image_2022-04-18_09-43-26.png]( https://s2.loli.net/2022/04/18/rxADyofelI2LKCJ.png)

ww2000e

ww2000e      17 小时 38 分钟前

用虚机无所谓宿主机什么系统,我都 win10 上装一排虚机

ymmud

ymmud      17 小时 33 分钟前

我是一台 mac air, 家里一台 unraid, 平时 rdp 连 unraid 跑的各个虚拟机

documentzhangx66

documentzhangx66      15 小时 3 分钟前

方便自己开发测试:Windows Server 2019 里面装 VMware Workstation Pro 。

企业生产、稳定,裸机直接装 VMware ESXi 最新版。

PVE 的优势在于集群 ceph ,如果只是单机且无 ceph 需求,用 PVE 不如用 VMware ,毕竟 VMware 的方便性与兼容性更好。

longbye0

longbye0      14 小时 42 分钟前

昨天折腾了下 PVE ,暂时就安装了 win10 显卡直通用来打游戏。

msg7086

msg7086      14 小时 37 分钟前

@documentzhangx66 ESXi 功能上太残废了,被 PVE 吊打。
要好好用 ESXi 的话,至少也要装上 vCenter 吧。
而且 ESXi 对硬件的兼容性仅限于服务器配件,家用件根本不管的。
Workstation 我没怎么玩过,不评论。

Chase2E

Chase2E      14 小时 12 分钟前

不知道为什么有在本地启动多个虚拟化主机的需求.
如果只是为了隔离服务环境的话, aliyun 或者 aws 开几个 ec2, 用 terminal 连接就行了, 还不用担心关机影响代码运行

hanssx

hanssx      12 小时 56 分钟前

@ltkun 老哥你写的文章在哪儿呀

@ferock 这也是一种思路,但是就需要 2 台设备了,我得再想想。

@0o0O0o0O0o 擦,64G 内存夸张了

@ety001 老哥你这啥配置呀,扩展显卡的话就是方便插拔然后也是要直通给 windows 虚机吧。

@aaniao002
@chocotan
@Linken404
感谢各位,已将推荐硬件加入调研计划。

hanssx

hanssx      12 小时 53 分钟前

@Chase2E 老哥,病毒分析会需要的,虽然我不会分析,但是经常需要测试一些恶意软件,平台 windows 、linux 都有。

documentzhangx66

documentzhangx66      11 小时 59 分钟前

@msg7086

ESXi 只是 VMware 全家桶 里的一个基础部件而已,相当于 PVE 的底层 KVM ,你拿 ESXi 和 PVE 比不恰当。

要比,应该是拿 VMware 全家桶 和 PVE 去比。

VMware 是早期 IBM 内部一帮专门做虚拟化,然后独立出来的公司,基本上是地球上最早做企业级虚拟化的。其产品 VMware 全家桶,包含虚拟化、分布式存储、软件定义网络、私有云、混合云,还有 EMC 提供的备份还原与数据重删等等,这些都是地球上最顶尖最前沿的东西。

PVE 、openstack 甚至 docker 都是在抄袭它的技术架构,然后做成免费版...连 java 那边一堆容器化思路也是这么来的。

真要比,VMware 全家桶是劳斯莱斯,PVE 是 5 号电池驱动的玩具车。

另外,连 DELL 、HP 、IBM 等厂家甚至要专门为它的技术标准,来出专门的硬件与软件,所以 VMware 不需要去费力不讨好地适配各种家用级硬件,因为家用级硬件不配,其不稳定性还容易搞坏 VMware 的声誉。PVE 如果不去做家用硬件兼容,连汤都喝不上了。

wolfmei

wolfmei      11 小时 19 分钟前

@documentzhangx66
赞同,VMWARE 还是大牛,我自己在工作环境搭了个三节点的 PVE 问了朋友关于 PVE 升级的问题,直接给我来一句你们这么有钱玩 PVE 干嘛~笑死我

CatCode

CatCode      10 小时 52 分钟前

@msg7086 @documentzhangx66 vCenter 这种到底有啥用啊?感觉个人折腾虚拟化或者只有一台宿主机的情况下,ESXi 本体就完全够用了(如果选用 vmware 方案而不是 pve 方案的话)

Biwood

Biwood      10 小时 44 分钟前

外加一个 Windows 平板,用 Barrier 进行通信即可

Agre

Agre      10 小时 11 分钟前

最近配置了百元机装 pve 可供参考

documentzhangx66

documentzhangx66      9 小时 5 分钟前

@CatCode ESXi 只是个虚拟化基础,并且只有一些最基本的管理功能,相当于 VMware Workstation Pro 、PVE 等在高级功能上大砍一刀。

不过,如果 ESXi 的功能,就足够你用了,你也没必要去安装其他全家桶软件,毕竟装那些软件要浪费一大笔资源。

itgoyo

itgoyo      8 小时 31 分钟前

同样的 i3wm+Linux Mint ,这组合真的是太香了,就是 A 卡驱动总是驱动不上,我枯了

msg7086

msg7086      4 小时 30 分钟前

@documentzhangx66 那么,和免费的 PVE 对比,VMware 全家桶要花多少钱呢?
我上一家公司就是做 vCenter 二次开发的,只知道光装一个 vCenter 做虚拟机克隆就已经要小 5000 刀了。
咱公司大概买了十几个授权,几万刀的样子。
当然你要说全用 D 版倒也不是不可以。
但是就稳定性来说 vCenter 和 PVE 真的是不能比。
我们帮客户修机器,大概有 20%的时间是 vCenter 炸了我们要帮他们删了重装系统。
VMFS 也经常炸,如果不小心死机重启了,或者断电了,开机回来各种小鸡配置或者数据就不见了。
这种企业级的东西我觉得真的需要企业级的运维,炸了以后知道怎么去修去重装,又或者去买订阅。

@CatCode ESXi 只有最基本的功能,开新鸡,开关小鸡,改小鸡配置,这些基本功能。
集群,主机间迁移,小鸡克隆,这些高级功能全都需要 vCenter 。
当然你可以打开 SSH 进去在 VMFS 之间手动搬文件……

documentzhangx66

documentzhangx66      4 小时 6 分钟前

@msg7086

1.PVE 为啥免费?因为无论功能上、稳定性上,都是被 VMware 全家桶 吊打。再不免费,谁用?

2.VMware 全家桶是贵,但人家配啊。企业级不用 VMware ,难道去用 PVE ?

3.你说稳定性来说 vCenter 和 PVE 真的是不能比,你有证据嘛?

4.你说你们帮客户修机器,大概有 20%的时间是 vCenter 炸。那么,PVE 有没有这情况?

其次,客户的 vCenter 每次炸的原因是?

VMFS 每次炸的原因是?

5. 企业级的东西,因为承载的东西贵,价值高,当然需要企业级的运维,来保障数据安全。出这个钱的目的就在此。

PVE 这类家用的玩意,数据丢了就数据,会导致很大损失嘛?会有人担责甚至离职嘛?

msg7086

msg7086      2 小时 55 分钟前

@documentzhangx66 那,这和楼主有什么关系呢……楼主是有运维团队,还是有 24 小时不间断电源配柴油发电机,还是愿意每年交 VMware 订阅呢?

企业用 VMware 当然没问题,出问题直接打电话找 VMware 的技术工就行了,5000 刀加每年的技术支持订阅费也不是白交的呀。

你要问炸的原因,就是 ESXi 有时候会紫屏崩溃,以及有时候机房电力供应会出问题。VMware 的全家桶是默认你服务器永不紫屏永不断电的情况,如果出现了就很容易挂的。我们有很多次就是因为 ESXi 死机,重启以后小鸡 BIOS 的 NVRAM 都丢了,然后我们加班帮客户重建小鸡恢复系统。我们和 VMware 打了那么多年交道,直接就导致了我自己绝对不考虑去用 VMware 的虚拟机产品,太坑了。

我可以给你再列举一些 VMware 整的活。比如他们家的产品 SSL 证书安装是有问题的。系统生成的自签名证书用起来一切正常,但是你要是把公网或者公司内部签出来的证书往 vCenter 里塞,你就等着 vCenter 炸了重装系统吧。这问题从我入职的时候 vC 5.5 开始,一直到我离职的时候 vC 6.7 为止,没一个好的。
还有比如他们刚开始的时候用的 vSphere client 桌面端来管理 vC ,用起来好好的,非要整活,搞 HTML5 管理界面,搞就搞吧,结果正式版发布出来,HTML5 的界面没做完,vSphere client 又 deprecate 了,硬要用不仅缺功能还会莫名其妙炸,一直到 vC 6.5 发布出来,才总算有个能用的 HTML5 管理界面。每次客户来问我们能不能升级 vC6 ,我只能告诉他们这版本没法用。
还有比如 VMkernel 里有个 Linux 驱动兼容层,可以让 VMkernel 挂载 Linux 的驱动。但是 ESXi 6 里给 megaraid 新做了一个原生驱动,但是这个原生驱动是有问题的,放在 HP 特定的服务器上跑,会不定时出现 IO 错误。我司内部的一台 HP 刀片机集群上了 ESXi 6 以后整个炸了。解决方法是换用 5.5 ,或者把 6 里面的原生驱动删了,强制用 Linux 驱动跑。
后来我们给 ESXi 6 做二次开发的时候,测试环境你猜我怎么搞的?底层装一个 ESXi 5.5 ,里面开虚拟机,虚拟机里装 ESXi 6 ,再在虚拟机里开虚拟机跑系统,好了,不炸了。
哎,这堆破玩意儿贡献了我好多的加班时间,想起来就火大。

确实,这东西就是靠运维团队(比如我们)来撑起来的。只要客户永远不碰这个稀烂的管理界面,永远不需要 SSH 连上去看 VMFS 里那堆文件,任何需求只要给我们打个电话,我们来帮他对接 VMware ,那这套系统用起来就挺不错的。我们收费也不贵,一年几万美元的样子,钱到位了什么都好说。

最后我再来问你,PVE 什么时候变成家用的玩意了?
「 Proxmox VE is a complete, open-source server management platform for enterprise virtualization.」
大哥看到 enterprise 了吗?
我现在副业帮人一起运营 VPS 服务,一半的机子跑 solusvm 一半的机子跑 PVE ,PVE 稳得一批。人家底层是 Linux ,你说 Linux 是家用级吗?我怎么觉得比 VMkernel 靠谱呢。

你说的「企业级不用 VMware ,难道去用 PVE 」我觉得只说对了一半。不是企业级用 VMware ,而是传统行业的企业级用 VMware 。科技公司的虚拟化大都基于 KVM 。我司对接的是那些传统行业的大企业,比如律所,货运公司,百货公司,医院,这些企业会大量用到基于 Windows Server 的大型环境,比如我们隔壁城市医院的整套医务系统跑在 80 多台 Windows Server 上,这种环境才需要用 VMware 的集群来承载。又比如普通公司,域控+Exchange+Sharepoint+Dynamics AX 的架构,才要用 VMware 来跑。

科技 /互联网公司的运行环境肯定是 KVM 为主的,至于在 KVM 上面跑的是 OpenStack 还是 PVE 还是古典的 libvert ,那也只是控制面板的问题。毕竟当我们说用 PVE 的时候,我们指的是用 Debian 当操作系统,Linux 当内核,KVM 当 Hypervisor ,PVE 当控制面板。

哦,刚想起来,VMware 的那套 HTML5 的管理系统,出过好多次 RCE 漏洞呢。
不用账号密码可以直接以管理员身份登录呢。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK