作者chang0206 (Eric Chang)
看板Storage_Zone
標題[討論] nvme raid mirror 嚴重掉速
時間Wed Sep 18 15:12:05 2019
收到指令要來測試PCI-E nvme SSD raid
因為還沒買進nvme raid controller
所以先找了兩張nvme轉pci-e x4的卡
分別接上intel 600P 256G & plextor m8pegn 256G來做測試
OS: Ubuntu 18.04
CPU: core i7 3770
RAM: 24G
我用ramdisk 做了一個對照組 dd 的測試如下
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 0.918509 s, 4.7 GB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 2.08326 s, 4.1 GB/s
nvme raid0 看起來還可以
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 1.9422 s, 2.2 GB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 10.2456 s, 838 MB/s
nvme raid1 慘不忍睹
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/nvmeraidmirror/"$i"k
bs="$i"k count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.2232 s, 383 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 39.4425 s, 218 MB/s
沒道理啊(不過後來想想，似乎還算合理)
來試試看小檔案好了
for i in {4,8,16,32,64,128,256,512,1024};do sudo dd if=/dev/zero
of=/mnt/nvmeraidmirror/"$i"k bs="$i"k count=1k;sync;done
4194304 bytes (4.2 MB, 4.0 MiB) copied, 0.00779723 s, 538 MB/s
8388608 bytes (8.4 MB, 8.0 MiB) copied, 0.00521657 s, 1.6 GB/s
16777216 bytes (17 MB, 16 MiB) copied, 0.011272 s, 1.5 GB/s
33554432 bytes (34 MB, 32 MiB) copied, 0.0226569 s, 1.5 GB/s
67108864 bytes (67 MB, 64 MiB) copied, 0.0373103 s, 1.8 GB/s
134217728 bytes (134 MB, 128 MiB) copied, 0.0673843 s, 2.0 GB/s
268435456 bytes (268 MB, 256 MiB) copied, 0.134667 s, 2.0 GB/s
536870912 bytes (537 MB, 512 MiB) copied, 0.248021 s, 2.2 GB/s
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.483513 s, 2.2 GB/s
看起來似乎很美好，沒有什麼問題
所以問題還是出在當cache 用完之後，就顯現出TLC/QLC真正的「笑能」
這種狀況在raid內也還是會存在
所以上面的raid 1寫入大檔案時，速度就差不多是用完cache的速度
補上單一顆 nvme ssd 的數據
Intel 600P
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/"$i"k bs="$i"k
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 4.83505 s, 888 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 39.1469 s, 219 MB/s
plextor M8pegn
for i in {4096,8192};do sudo dd if=/dev/zero of=/mnt/"$i"k bs="$i"k
count=1k;sync;done
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 5.24949 s, 818 MB/s
8589934592 bytes (8.6 GB, 8.0 GiB) copied, 26.9512 s, 319 MB/s
看起來M8pegn的掉速比較沒有那麼明顯..
如果真的要這樣玩，我可能還是會採用intel DC系列，或者三星EVO PRO系列吧
然後，有個問題讓我很困擾，有辦法在還沒買產品之後
就先google 到這類產品在用完cache 之後的效能數據嗎？
以600p為例，我到現在還是找不到這種數據
還是說，不公佈這個數據，是一種業界之間的默契？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 34.74.6.157 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Storage_Zone/M.1568790727.A.3F1.html
※ 編輯: chang0206 (34.74.6.157 美國), 09/18/2019 15:21:28
1F：推 greg7575 : 買 DC 系列省得想東想西的 09/18 15:21
2F：推 balius : DC+1，不過DC大多是U.2比較少M.2的 09/18 16:20
3F：推 MrDisgrace : 600P和M8PEGN也差太多XD 09/18 17:03
4F：→ chang0206 : 嗯，U2界面也是另外一個問題 還是要轉... 09/18 17:12
5F：→ chang0206 : 而且老實說 我不是很看好U2界面..感覺會變孤兒 09/18 17:16
7F：推 franchy : 905P RAID下去沒煩惱 09/18 22:29
8F：→ chang0206 : 900P我如果報出去，應該會直接被趕出場 XD 09/19 09:00
9F：→ chang0206 : uccu 那個網站我有查到 謝謝 09/19 09:02
10F：推 rexblue : 所以才有人說600p那顆要買1TB以上容量的下去才不會 09/19 10:35
11F：→ rexblue : 被氣死，不管是快取大小與速度來說，這個型號的特性 09/19 10:35
12F：→ rexblue : 就是如此。QLC.... 09/19 10:35
13F：→ dino2895 : DC p3600 p3700幾乎都不會掉速，尤其3700是一直線的 09/21 13:13
14F：推 balius : P3600/3700這用MLC的就不講了，就算是P4500/4600這 09/21 17:17
15F：→ balius : 些用TLC的也不是用SLC cache衝速度所以一樣不會掉速 09/21 17:17