作者chang0206 (Eric Chang)
看板Storage_Zone
标题[讨论] nvme raid mirror 严重掉速
时间Wed Sep 18 15:12:05 2019
收到指令要来测试PCI-E nvme SSD raid
因为还没买进nvme raid controller
所以先找了两张nvme转pci-e x4的卡
分别接上intel 600P 256G & plextor m8pegn 256G来做测试
OS: Ubuntu 18.04
CPU: core i7 3770
RAM: 24G
我用ramdisk 做了一个对照组 dd 的测试如下
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 0.918509 s, 4.7 GB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 2.08326 s, 4.1 GB/s
nvme raid0 看起来还可以
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 1.9422 s, 2.2 GB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 10.2456 s, 838 MB/s
nvme raid1 惨不忍睹
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.2232 s, 383 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 39.4425 s, 218 MB/s
没道理啊(不过後来想想，似乎还算合理)
来试试看小档案好了
for i in {4,8,16,32,64,128,256,512,1024};do sudo dd if=/dev/zero
of=/mnt/nvmeraidmirror/"$i"k bs="$i"k count=1k;sync;done
4194304 bytes (4.2 MB, 4.0 MiB) copied, 0.00779723 s, 538 MB/s
8388608 bytes (8.4 MB, 8.0 MiB) copied, 0.00521657 s, 1.6 GB/s
16777216 bytes (17 MB, 16 MiB) copied, 0.011272 s, 1.5 GB/s
33554432 bytes (34 MB, 32 MiB) copied, 0.0226569 s, 1.5 GB/s
67108864 bytes (67 MB, 64 MiB) copied, 0.0373103 s, 1.8 GB/s
134217728 bytes (134 MB, 128 MiB) copied, 0.0673843 s, 2.0 GB/s
268435456 bytes (268 MB, 256 MiB) copied, 0.134667 s, 2.0 GB/s
536870912 bytes (537 MB, 512 MiB) copied, 0.248021 s, 2.2 GB/s
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.483513 s, 2.2 GB/s
看起来似乎很美好，没有什麽问题
所以问题还是出在当cache 用完之後，就显现出TLC/QLC真正的「笑能」
这种状况在raid内也还是会存在
所以上面的raid 1写入大档案时，速度就差不多是用完cache的速度
补上单一颗 nvme ssd 的数据
Intel 600P
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/"$i"k bs="$i"k
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 4.83505 s, 888 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 39.1469 s, 219 MB/s
plextor M8pegn
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/"$i"k bs="$i"k
count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 5.24949 s, 818 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 26.9512 s, 319 MB/s
看起来M8pegn的掉速比较没有那麽明显..
如果真的要这样玩，我可能还是会采用intel DC系列，或者三星EVO PRO系列吧
然後，有个问题让我很困扰，有办法在还没买产品之後
就先google 到这类产品在用完cache 之後的效能数据吗？
以600p为例，我到现在还是找不到这种数据
还是说，不公布这个数据，是一种业界之间的默契？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 34.74.6.157 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Storage_Zone/M.1568790727.A.3F1.html
※ 编辑: chang0206 (34.74.6.157 美国), 09/18/2019 15:21:28
1F：推 greg7575 : 买 DC 系列省得想东想西的 09/18 15:21
2F：推 balius : DC+1，不过DC大多是U.2比较少M.2的 09/18 16:20
3F：推 MrDisgrace : 600P和M8PEGN也差太多XD 09/18 17:03
4F：→ chang0206 : 嗯，U2界面也是另外一个问题 还是要转... 09/18 17:12
5F：→ chang0206 : 而且老实说 我不是很看好U2界面..感觉会变孤儿 09/18 17:16
7F：推 franchy : 905P RAID下去没烦恼 09/18 22:29
8F：→ chang0206 : 900P我如果报出去，应该会直接被赶出场 XD 09/19 09:00
9F：→ chang0206 : uccu 那个网站我有查到 谢谢 09/19 09:02
10F：推 rexblue : 所以才有人说600p那颗要买1TB以上容量的下去才不会 09/19 10:35
11F：→ rexblue : 被气死，不管是快取大小与速度来说，这个型号的特性 09/19 10:35
12F：→ rexblue : 就是如此。QLC.... 09/19 10:35
13F：→ dino2895 : DC p3600 p3700几乎都不会掉速，尤其3700是一直线的 09/21 13:13
14F：推 balius : P3600/3700这用MLC的就不讲了，就算是P4500/4600这 09/21 17:17
15F：→ balius : 些用TLC的也不是用SLC cache冲速度所以一样不会掉速 09/21 17:17