作业系统:(ex:mac,win10,win8,win7,linux,etc...) Ubuntu 问题类别:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...) CNN 使用工具:(ex:python,Java,C++,tensorflow,keras,MATLAB,etc...) PyTorch 问题内容: 想问大家在train超大型网路时连一个batch都塞不进VRAM的状况 有没有什麽心得或技巧？ 目前的状况是想把cycleGAN改成3D的好用医学影像来训练 因为cycleGAN的cycle consistency对医学应用来说非常有趣 但是cycleGAN本身的架构就是由4个中大型CNN组成 原作者公开的implementation 2D版本batch size=1的时候就会吃掉大约3GB的RAM 要换成3D的话trainable parameter直接暴增一个dimension 目前是用超小的patch size下去跑，不然的话… 只能指望用NVlink的Quadro GV100了 想到的蠢方法是用CPU跑 插八条32GB RAM就有256G了 但速度…… 困扰了很久，好像也没什麽讨论度 是不是这问题太蠢了所以没什麽人讨论workaround呢 还是真的只能用钱堆了 ----- Sent from JPTT on my Asus ASUS_Z01KDA. --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.72.114.83 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1541248547.A.51F.html