作者ctr1 (【积π】)
看板DataScience
标题[问题] 深度学习 图片储存
时间Sat Dec 5 01:26:49 2020
想请教个图片储存的问题
若每天都产生10万张左右的图片
一张图片约3kb
所以一天约300mb的图片
深度学习的模型需要定期re-train
也可以定期清图片
想请问板上各位大大
图片如何储存较好
目前我会的只有把图片路径资讯写入DB
图片存放在硬碟
是否还有别的更有效率的重复使用的方法
麻烦各位大大开释了
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.160.182.151 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1607102811.A.BA5.html
※ 编辑: ctr1 (118.160.182.151 台湾), 12/05/2020 02:16:26
1F：推 Freddy122: npy档 12/05 02:38
2F：推 kokolotl: lmdb dali 12/05 03:09
3F：推 janus7799: HDF常用而且读取效率高，写Tensorflow的话TFRecord也 12/05 21:46
4F：→ janus7799: 不错，Pytorch可以尝试zarr。 12/05 21:46
5F：推 tipsofwarren: 冒昧问, 为什麽不用 png 档? loseless. 路径我是 12/10 09:47
6F：→ tipsofwarren: 动态生成(有一定的 format), dataloader 的 12/10 09:48
7F：→ tipsofwarren: num_workers 设定大一些. (我是指 pytorch) 12/10 09:48
8F：→ tipsofwarren: 我每一张 file size 约 30K 12/10 09:49