从周六开始一直到昨天晚上，基本每天都折腾到凌晨
主板 MSI B660M 迫击炮
CPU i5 12500
sata ssd *2
sata hhd *2
m2 nvme *2

前两天是折腾核显，主板开启了 VT-D 和 Intel SRIOV
通过 i915-sriov-dkms 虚拟出来 7 个
完成了以后尝试直通硬盘

因为主板有两个 sata 控制器，我想着是两块 sata ssd 组 zfs(raid1)做系统盘，然后另一个 sata 控制器直通给 Truenas 虚拟机。然后我就直接去根据 iommu 的编号去找到这俩 sata 控制器，尝试把 b660 芯片组的 sata 控制器直通给 Truenas 虚拟机，然后就直接死机了，第二次安装发现是因为 iommu 分组没拆开

然后就一通检索去看相关问题，后来发现一个强制拆分 iommu 分组，但是要改源码并且评论区说这是掩耳盗铃遂弃，然后就去折腾 BIOS 看到有一个“集成外围设备”的选项，关闭这个之后可以正常拆分 iommu 了。

我原本以为会很顺利美滋滋的去直通 sata 控制器并开启虚拟机，又有问题了
这里我的系统盘最初插到的是 sata7 和 sata8 ，因为这两个口离其他的比较远所以我认为是另一个单独的 sata 控制器控制的。这就是不认真阅读文档的代价吧。

开主机重新插 sata 接口调整好以后再去尝试 SRIOV ，又不行了。

尝试过一次 unraid 拆分核显，个个都说 unraid 虚拟机多好用
结果我一用，真的很费劲
现在已经不喜欢这些了，直接买两台算了

你这主板居然有两个 sata 控制器？

为什么非要把 Disk IO 直连？用软件作 Disk IO 中间层有很多好处呀，比如可以设非常高的 buffer ，或者非常低的 flush 频次。不香吗？

看这个板子， 是微星 mag mortar b660m?
这个板子好像是 SATA_A 和 SATA_B 走的额外附加的 sata 控制器，方便直通。

PCIE 直通 raw 设备根本不是虚拟化的正常使用方式，你 PCIE 直通越多遇到问题的机会越大，属于是要实现一些功能不得已的妥协，不知道为啥现在各种乱七八糟的教程喜欢把这玩意儿当成灵丹妙药。虚拟化的一个重要目的就是迁移+容灾，PCIE 直通之后一不小心虚拟机直接带崩宿主机一起死机，还容个屁的灾。

很多消费级硬件不支持真正的虚拟化，只能直通一把梭，问题是很多厂家（比如黄狗）一开始就没有给你直通预留兼容性，出什么问题完全是不可预料的。不是发烧友没必要浪费时间跟厂家对抗

你有空余的 pcie 插槽的话，可以买个 sas 直通卡，LSI2308 就行，然后把 sas 卡直通给 truenas ，或者虚拟机，比你这样折腾靠谱一点

1 、系统盘没必要组 raid1,pve 只要备份好虚拟机，系统坏了，重装后再恢复虚拟机就行。有的人甚至把系统装进 U 盘里。
2 、可以把系统盘装在 m.2 的一个盘上，直通 SATA 控制器准没问题。一般一个主板都是一个 SATA 控制器。
3 、SRIOV 没折腾过，折腾过 8 代 cpu 直通核显用的 GVTg
4 、也可以试试飞牛 nas ，也能搞

试试在 /etc/default/grub 添加 pcie_acs_override 参数，看分组是否多一些

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"

update-grub

是的

是的，我这就纯瞎折腾。

m.2 装系统，sata 直通就行。sata 崩了不会影响系统，不要怕。

加了 /etc/default/grub /etc/kernel/cmdline

有两条空余的 PCIe 插槽。本来是想买的，但感觉自己的硬盘不多就直接用的主板自带的两个 sata 控制器了。

unraid 就是

m2 的那块 250G 的三星 970evo 0e 了。所以没敢做系统盘，只把它拿来用作缓存盘。

哈哈哈，我其实是就喜欢折腾这些，所以不嫌烦。消磨时光的手段之一。

pve 直通 sata 设备的标准姿势：

Passthrough Physical Disk to Virtual Machine (VM) - Proxmox VE)

按设备直通就行，不需要直通 sata 控制器

pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)
17 楼的链接多了一个括号，重新发一下

PVE 群主说过，不建议直通，因为直通是一种反虚拟化的方式，会阻碍备份、迁移与容灾，除非你不需要这些功能。

老哥哪个群？

为什么要跑 kvm ？
要解决什么需求？
什么情况下必须要 kvm 而不是 lxc ？
直通核显后如果宿主机出现灾难性错误如何排错？

关于媒体：lxc 做 qsv / vaapi 简直就是开箱即用，而且还不影响宿主机显示
关于存储：用 proxmox 来管理磁盘也是开箱即用，zfs raid 在 web 端即可完成所有操作，还有原生的快照支持，如果需要文件共享自行部署 nfs server / smb server / wevdav / s3(minio)
关于 Windows: 别在 nas 上面跑 windows 了，all in one == all in boom

与其折腾这个不如把监控、ups 、备份配置好，数据安全比什么都重要