作者kaltu (ka)
看板Storage_Zone
標題[請益] SSD部份檔案經過強讀取之後變成0KB
時間Thu Dec 27 19:51:18 2018
我買的硬碟是冠元的TP6500 512GB
http://i.imgur.com/DqJgmcq.jpg
一切使用完全正常
但是只要我拿來做神經網路的訓練
A, B dataset 加起來總共約一百萬張小於100KB的圖片
在數百個epoch(輪)的讀取之後
第一次是五百出頭 第二次是七百出頭
程式就會因為資料IO error停下來
查了之後發現有兩三張圖片變成0KB 導致讀取失敗
由於當下就排除問題了，所以沒有截到圖
請問大家認為這會是什麼問題呢？
-----
Sent from JPTT on my Asus ASUS_Z01KDA.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.192.12
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Storage_Zone/M.1545911481.A.3FB.html
1F：→ maniaque : "爆了" 就這麼簡單......12/27 19:57
2F：→ maniaque : 你有加散熱片或散熱風扇幫助散熱嗎???12/27 19:57
3F：→ maniaque : 建議你試裝這些散熱元件(尤其主動的風扇),再跑看看12/27 19:58
都沒有，沒有給他任何被動或主動散熱
如果確定是過熱就去找個的風扇給他好了
4F：推 jeff40108 : 你這種用法必死的，因為nand區塊有讀寫次數限制12/27 21:41
5F：推 jeff40108 : 你這樣操沒有給他搬移做wear leveling的機會12/27 21:42
6F：→ jeff40108 : 建議改用RAM disk12/27 21:44
我是一次寫入然後數百次讀取
而且一個檔案一個小時內不會被讀到第二次
不確定這樣的wear有沒有太大
7F：推 winiel559 : NAND有讀的次數限制嗎 都讀取的讀到死去不太合理= =12/27 22:15
我查到的是read disturb
在約莫數百到數千次讀寫之後
NAND block內的資料會跑掉，但是cell不會死
很像是我的狀況
硬碟沒死，被讀取的資料壞了
8F：→ ilanese : RAM disk，終保的ram……12/27 22:23
是推薦用RamDisk取代嗎
※ 編輯: kaltu (42.73.29.6), 12/27/2018 22:54:31
9F：推 XXXXHAY : DDR3現在好便宜的，弄個二手Xeon插滿128G也不用多少12/27 23:35
我的CPU是9700K QQ
10F：→ XXXXHAY : 錢效能還遠大於SATA12/27 23:35
11F：→ XXXXHAY : 啊歹勢原來你買的是PCIe的12/27 23:35
12F：→ XXXXHAY : 啊不然買PCIe的RAM轉卡也可以，但是不知道現在還有12/27 23:36
13F：→ XXXXHAY : 沒有12/27 23:36
這種卡很難買吧
14F：→ lagya : 阿就它沒寫read disturb 的演算法 當然讀多次就爆了12/28 02:54
這顆的主控晶片沒有解這個issue嗎？
我看wiki是很罕見的狀況才會沒寫read disturb
※ 編輯: kaltu (42.76.28.143), 12/28/2018 07:57:34
15F：推 linlongchau : 數千次讀取都沒差,512G SSD沒有那麼爛,有留意溫度 12/28 09:12
16F：→ linlongchau : S.M.A.R.T圖...你這片還是新的,冠元的品質有那麼爛? 12/28 09:13
17F：→ linlongchau : 讀的次數那麼多,Cache開大一些會有用 12/28 09:13
18F：推 MAXX228 : 換900(5)P 試試 12/28 10:52
19F：→ maniaque : 我個人是認為先改善散熱(直接土砲電風扇吹SSD)12/28 11:45
20F：→ maniaque : 若有改善,那表示問題在此,你再實質強化散熱12/28 11:46
21F：→ maniaque : 買散熱片,甚至鎖上小風扇12/28 11:46
我目前也懷疑是過熱
因為訓練神經網路的時候GPU會滿載
搭配的GPU並非公版渦輪扇型號
所以造成機箱高熱，可能會影響到SSD
想請教一下這種機箱內高溫的狀況散熱方案配置的訣竅
22F：推 ilanese : 8G算1000塊，你大量買128GB，16000元就行了，終保RA12/28 13:03
23F：→ ilanese : M disk。12/28 13:03
24F：→ ilanese : 軟體推薦primo ramisk。12/28 13:04
25F：推 ilanese : 這種大概是4支32GB比較好，12/28 13:08
26F：→ ilanese : 更正：primo ramdisk12/28 13:09
27F：推 photoless : 8g 1000??????12/28 13:33
28F：→ sma1033 : 再過一陣真的有可能，目前看到新品8G最低到120012/28 13:45
29F：推 photoless : 正常大牌至少2400 少說160012/28 13:51
30F：→ ilanese : 又是農曆年前宰羊期，短時間內也降不下來了。12/28 13:51
31F：→ ilanese : 虛擬貨幣暴跌，要便宜的話，去二手市場撿看看礦機拔12/28 13:53
32F：→ ilanese : 下來的殺肉貨。12/28 13:53
33F：→ ilanese : 原PO的MB應該也沒有那麼多的記憶體模組插槽可用，大12/28 13:54
34F：→ ilanese : 概只能選32GB四支這種組合了，這樣子就貴了。12/28 13:54
35F：→ ilanese : 12/28 13:55
36F：→ ilanese : RAM的市場沒那麼好了，虛擬貨幣暴跌，挖礦的話，連12/28 13:55
37F：→ ilanese : 電費可能都不夠，新礦機沒人組，舊礦機又丟到市場賣12/28 13:56
38F：→ ilanese : ，供給遠大於需求的話，勢必就是跌價了，只是亞洲市12/28 13:56
39F：→ ilanese : 場就是農曆年前不跌，農曆年後才跌。12/28 13:57
40F：推 TaiwanisChin: 試試看別家的SSD，說不定是別的問題12/28 17:00
※ 編輯: kaltu (42.76.28.143), 12/28/2018 18:01:42