作者HakkaChipa (Hakka_Chipa)
看板DataScience
标题[问题] 载入资料记忆体不足问题
时间Fri May 29 17:53:33 2020
版上各位大大好，
最近在进行资料载入时发生记忆体不足的问题(目前电脑记忆体32g),在先前进行资料预处理时有尝试分批载入进行处理。
但是最近在进行後续模型训练时又卡关了orz
目前有想到两种方法，可是不确定该如何运行，再烦请大家多多指教了
(1)分批次进行训练，想请问有什麽办法可以分批次从硬碟读入资料进行训练吗
(2)google发现有人说到keras可以直接从硬碟资料输入训练，虽然会卡在硬碟IO瓶颈，可是总比没法训练好吧？XD
可是该篇文章并没有明确提到是用什麽方法直接从硬碟读入资料进行训练。
字有点多，再请各位大大多多指教了，感恩不尽!
-----
Sent from JPTT on my Samsung SM-N770F.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.233.12.97 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1590746015.A.D43.html
1F：→ ericakcc: 用generator 05/29 18:28
2F：推 kokolotl: Q2用SSD还行 05/29 22:27
4F：→ kokolotl: 好文件不看吗 05/29 22:28
5F：推 DarkIllusion: 影像资料的话可以试着以压缩的型式放在记忆体里 05/30 10:00
6F：→ DarkIllusion: 要组成批次时再解码回影像 05/30 10:01
7F：→ world4jason: 人家都说记忆体不足了… 05/30 10:02
8F：→ DarkIllusion: 楼上看不懂压缩是什麽意思 是吧? 05/30 10:03
9F：→ DarkIllusion: 压缩指的是 譬如将每张影像jpeg的编码字串放记忆体 05/30 10:06
10F：→ HakkaChipa: 谢谢各位大大的指教，我会再去多研究研究,非常感谢! 05/30 11:40
11F：推 Freddy122: 你要不要先用pretrained好的model抽特徵 05/31 14:45
这次案例使用的是lstm的回归模型，所以。。哈哈哈
不过之前学习练习的时候有试着用inceptionV3，不过载不进来（？ 不知道是显卡还是电脑的记忆体问题
12F：→ Freddy122: 再把特徵当input拿去分类器分类 05/31 14:45
※ 编辑: HakkaChipa (118.170.114.216 台湾), 06/01/2020 02:36:56