PVE 纸上谈盘之买大了
source link: https://www.v2ex.com/t/861569
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
趁 618 想用 Intel 12 代组 PVE 开虚拟机，主要是 Linux+Windows 的虚拟机，兼顾家用的话先放到次要地位(因为没想好到底是放家里还是放公司)，在网上看了不少也在 V 站问了好多，最后硬盘好像是买大了，且听我细细道来。。。
我当时寻思一步到位，买了个 2T 的三星 970EP+4T WD 红盘，后面发现诸多不便，主要体现在 2 个方面：
- All in One SSD ，这样对硬盘使用加大，且一损俱损，全荣才能荣。
- 没法硬盘直通，来提高硬盘使用效率。
现在想到了一个办法，把 2T 换成 4 个 512G 的 SSD ，2 个 Nvme+2 个 SATA ，用途如下： 1 个 Nvme 用于 PVE 系统 1 个 Nvme 用于分配空间给其他虚拟机，比如 NAS 、LCX 容器等 1 个 SATA 用于直通给 Linux 主力 1 个 SATA 用于直通给 Windows 主力 4T WD 红盘用于开启 SMB ，共享给其他虚拟机。
好处如下：
- 更好地隔离系统之间的影响，比如装 PVE 的那个 Nvme 不会将空间分配给其他虚拟机，不会一损俱损，只会你荣任你荣，我荣不管你。
- 硬盘直通的时候直通 SATA 控制器，硬盘使用效率达到最高，而且还能使用硬盘的 SMART 功能。
Nvme 好像可以单盘直通，不过和主板有关系，有运气成分？具体参见 https://v2ex.com/t/845488
各位玩过的前辈，这种方案可以吗，可以的话我就去换硬盘了。
 |
ScepterZ 2 小时 0 分钟前 别的不知道，但是你的主板应该挺贵的，这么多位置
|
 |
hwdef 1 小时 58 分钟前 typo: lcx -> lxc
|
 |
hanssx 1 小时 57 分钟前 @ScepterZ 主板那个 X 星的迫击炮，有 2 个 Nvme 的，机箱 Meshify C Mini 可以带 3 块 2.5 SSD+2 块 3.5 HDD(具体没上手，带一块也行)
|
|
hanssx 1 小时 54 分钟前 影响各位观感了，抱歉，刚才编辑了一下主题，不知道为啥中间那块格式没了。
``` 用途如下： 1 个 Nvme 用于 PVE 系统 1 个 Nvme 用于分配空间给其他虚拟机，比如 NAS 、LCX 容器等 1 个 SATA 用于直通给 Linux 主力 1 个 SATA 用于直通给 Windows 主力 4T WD 红盘用于开启 SMB ，共享给其他虚拟机。 ``` |
 |
documentzhangx66 1 小时 50 分钟前 你的思路应该改进一下。
1.如果你在意负载全部集中在一块 SSD 上，那么你应该多买几块小容量 SSD ，来分担负载。 2.如果你在意的是，重要数据全部集中在一块 SSD 上，导致万一这块 SSD 坏了，数据就全丢了，那么你应该至少再买一块相同容量与性能的 SSD ，来做 raid 1 ，然后再买一块更大的机械硬盘，用来做每日自动备份。 3.你别听那帮 NAS 佬天天说直通，你就也要跟风做直通。 首先虚拟化与半虚拟化的重要特质，就是通用化。你一旦在一台机器上设置了直通，就不好做多机高可用、基于自动迁移的自动负载均衡。 其次，那些能做直通的 NAS 佬，是经济存在问题的，只买得起一台，所以非得直通。你看看做专业集群的，谁会去弄直通。 4.你真的需要溢价溢到爆表的 12 代 Intel 去搞虚拟化？你是否有仔细研究过你对虚拟化的需求？ |
1 |
qping 1 小时 42 分钟前 我的方案和你之前的差不多，硬盘小点，1Tssd + 1T 机械
pve 跑虚拟机，不过另外有 nas ，重要的数据定期备份到 nas 去，nas 那边是 raid1 的 4+4 |
 |
dcty 1 小时 36 分钟前 一开始我以为我也会搞虚拟化，或者搞 NAS 什么的，结果最后就是装了个 Windows ，开个共享给 Mac 备份。
显示器（自动息屏肯定开了）+PC + Mac Mini 7*24 开着，一天的耗电大概 2.2 ～ 2.5 度左右。 软路由+AP+光猫一天的耗电大概是 0.5 度。 |
|
hanssx 1 小时 33 分钟前 @ScepterZ 我表述没到位
@documentzhangx66 感谢老哥回复， 1.确实是我的需求 2.备份我有同步到云端，另外有移动硬盘备份，不懂 raid ，这块还得学习。 3.但是直通确实能提高硬盘性能吧？后面那个多机高可用、基于自动迁移的自动负载均衡，这个听不懂。。 4.没仔细研究过，主要是把工作学习中的开虚拟机要求分离到 PVE 上面，不想装服务器 U 因为声音大体积也大，所以就用了传统 CPU 。 |
 |
photon006 1 小时 31 分钟前 楼主把 ssd 想得太脆弱。
我大概 10 年前的三星笔记本，256g ssd 装双系统到现在正常使用。 去年 chia p 盘用的 1T SN 550 ，磨损 119%，按照官方寿命来算已经报废，照样直通给 vm ，docker 网心云跑得飞起，只是测速 900M/s 比全新低不少，不影响废物利用。 真担心 ssd 挂可以上 ups ，ssd 只安装系统，数据用机械盘挂载，做到程序跟数据分离就行了。 如果担心机械速度慢，可以用 ssd 做缓存提高速度。 |
 |
libook 1 小时 30 分钟前 我不是 All in one ，我的服务器和 NAS 是两台机器，这样性能、故障隔离。
想要确保数据不丢，没啥好办法，就是冗余+备份。 NAS 上的系统是装在 U 盘里的，深入做了写入优化，确保 U 盘寿命最大化，每天自动任务 dd 备份 U 盘到机械硬盘阵列里，这样 U 盘坏了可以用备用系统进入机械硬盘提取备份来恢复。 服务器的思路是差不多的，系统和服务装在 SSD 上，数据不存本地，经 NFS 存到 NAS 的阵列里，因为 SSD 里的数据很少更新，所以只需要每周全盘备份+压缩存到机械硬盘里。 换小的 SSD ，空间分配可能不够灵活？比如你发现有一个用途快用满 512G 了，但同时另一个用途还没用多少空间。至于直通，一方面得看性能提升多少，另一方面也得看你对性能要求是否有极致需求，毕竟已经用 PVE 了性能也不可能完全没有损耗的。 |
 |
FrankAdler 1 小时 29 分钟前 1. 1 换 4 成本提高，然后就算 4 个该备份还是要备份，不如考虑备份而不是直通
2. 为什么一定要直通，LVM 动态分配不好吗，性能也不会有多大损耗，还方便做迁移啥的 更建议你虚拟机 lxc 啥的装在 ssd 上，大容量使用空间的添加第二个虚拟硬盘放 hdd ，再额外购置一块小容量的 2T 做备份，pve 有定时备份功能。 |
 |
msg7086 1 小时 27 分钟前 via Android 我不太能理解。pve 自己就吃 20G 硬盘空间，为什么要单独给一块盘。然后 SSD 现在基本都很靠谱，为什么要特意拆分。多块 SSD 的可靠性又不会增加。直通硬盘有什么特别的优势？归根结底都是通的块设备，你开个 LVM 通进去也差不多啊。真要完全直通，需要把硬盘控制器通进去，而不是只通一个块设备。你现在这个结构已经算是挺好了，就是这块 4T 硬盘比较坑，SSD 我觉得没问题。
|
|
hanssx 1 小时 5 分钟前 |
|
documentzhangx66 46 分钟前 |
 |
thtznet 46 分钟前 PVE 本身只要跑在 U 盘里就行了，没必要买块 SSD ，担心寿命的话，有专用的企业级 U 盘卖（ SLC ）
|
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK