最近一台联想服务器安装的 ESXi 8,raid6 8T x 10 ,一块硬盘坏,esxi 内有不到 20 个虚机,新购硬盘插入后,13 日早上重建至今 10 天了还没完成,有经验的同学给说说这样是否正常。网上看到大概 8t 也就 100 小时重建。

看你啥硬盘啥 CPU ,软 raid 还是硬 raid ,只要重建有进度在走,就这样吧,反正也没啥其他方法。在服务器前烧几炷香求老天爷保佑,这是唯一能做的

能装 esxi 应该不是软 riad 。联想用的应该是 lsi 的阵列卡,esxi 里安装一个 storcli 看看重建的状态和阵列卡的日志,别是重建的时候有啥问题导致重建卡住。另外如果虚拟机的磁盘 IO 比较高,阵列卡会优先保证磁盘 IO 并减缓重建的速度。可以用 storcli 调整重建的策略,牺牲一部分的磁盘 IO 速度加快重建速度。

服务器建议 raid 10

阵列卡是 ThinkSystem RAID 930-16i 4GB Flash PCIe 12Gb Adapter 在 xcc 里能看到“重建中”但看不到进度。虚拟机的 io 确实挺高的,但有不能停的话,重建迟早应该会完成吧?

现在来不急了啊

重建其实就是硬盘的重新同步,也就是写入速度。有业务在跑,通常重建速度不超过 50MB/s 。那么计算可得:( 8T8 个0.93 (实际可用空间)) 50MB/s=1190400 秒,约 330 小时,耗时 14 天

这个就是联想 OEM LSI 的卡,在 esxi 里装 storcli 看看重建真实的状态和进度,闭眼干等万一有坑就不好办了。同意三楼的观点服务器用 raid10 比 raid6 要好,raid6 写惩罚太高,再加上你的虚拟机磁盘 IO 高阵列还在重建整体的性能更拉跨。不过 raid10 的成本会高很多。你的服务器用了 10 个 8T 盘应该至少是一个 2U 的服务器,一般 2U 服务器能装 12 个 3.5 寸硬盘,加一块盘做成热备吧,这样多少能提高一些可靠性。

不正常,空载 8T x8 RAID6 重建 12 小时左右

找到相应的 storcli ,提示安装成功,但要重启,正在重建中,重启 esxi 有啥问题吗?

谢谢回复,意思是还没到时间,再等等。

这位同学说的是空载吧

把重要的信息备份出来,迁移出虚拟机

应该不用重启,网上查查 storcli 的命令,到 /opt 目录下找到二进制文件执行。注意看清楚命令解释别把虚拟卷删了

重建中重启没啥问题,不过你都打算重启物理机了,说明虚拟机的业务可以停止?不如晚上把虚拟机关机看看没有负载的情况下能不能重建的快一些。

虚拟机都有备份,但是这是单主机,没办法迁移 虚拟机可以停止业务,但停止了还是有些许麻烦的,实在不行停止。

/opt 下找不到二进制文件,find / -name storcli 也找不到

实际不太可能 8T 数据完全占满的。但是高负载情况下磁盘同步的速率确实很低同时需要确认整个磁盘阵列的可用空间是多少,如果已用空间占了磁盘的 80%,那可能需要更长时间。像 8T 这么大容量的硬盘如果配置 RAID6 风险还是挺大的,主要是数据同步的时间太长,如果是同一批次的硬盘是可能存在通过过程中其它硬盘故障的情况

我怀疑你装错了。试试这个,这是所有系统的 storcli 。找里面适用于 VMware 的 docs.broadcom.com/docs/007.1715.0000.0000_Unified_StorCLI.zip

我记得 raid6 应该是全盘重建和数据的写入量没有关系。用了 1M 是重建全盘,用了 7T 也是重建全盘。

硬 raid 不管你用了多少空间,全盘读写重建的。