作者ctr1 (【積π】)
看板DataScience
標題[問題] 深度學習 圖片儲存
時間Sat Dec 5 01:26:49 2020
想請教個圖片儲存的問題
若每天都產生10萬張左右的圖片
一張圖片約3kb
所以一天約300mb的圖片
深度學習的模型需要定期re-train
也可以定期清圖片
想請問板上各位大大
圖片如何儲存較好
目前我會的只有把圖片路徑資訊寫入DB
圖片存放在硬碟
是否還有別的更有效率的重複使用的方法
麻煩各位大大開釋了
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.160.182.151 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1607102811.A.BA5.html
※ 編輯: ctr1 (118.160.182.151 臺灣), 12/05/2020 02:16:26
1F：推 Freddy122: npy檔 12/05 02:38
2F：推 kokolotl: lmdb dali 12/05 03:09
3F：推 janus7799: HDF常用而且讀取效率高，寫Tensorflow的話TFRecord也 12/05 21:46
4F：→ janus7799: 不錯，Pytorch可以嘗試zarr。 12/05 21:46
5F：推 tipsofwarren: 冒昧問, 為什麼不用 png 檔? loseless. 路徑我是 12/10 09:47
6F：→ tipsofwarren: 動態生成(有一定的 format), dataloader 的 12/10 09:48
7F：→ tipsofwarren: num_workers 設定大一些. (我是指 pytorch) 12/10 09:48
8F：→ tipsofwarren: 我每一張 file size 約 30K 12/10 09:49