作者Haikyuu (!!)
看板DataScience
标题[问题] NN在GPU的记忆体使用量估计
时间Wed Apr 17 21:51:16 2019
请问如果我建一个CNN参数一千万
输入图片大小64*64 pixel大小
batch size 设32
那我GPU (CUDA)的记忆体使用量大概是
10* 4 + 32 *64 *64* 3 (彩色3channel)/10^6
NN大小 + 图片一个batch总共大小
MBytes
这样算对吗?
谢谢各位高手了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.136.15.78
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1555509078.A.E84.html
1F：→ clang: training time还有gradient的记忆体消耗 04/17 23:36
2F：→ yiefaung: 10*4是?? float32?? byte bit?? 04/18 02:50
3F：→ ScottOAO: 还有 model operator 也在 gpu 上 04/18 19:35