作者subgn ( )
看板deeplearning
标题[问题] 一个dnn可以同时处理多张影像/资料吗?
时间Wed Mar 7 22:13:01 2018
如题，一组深度神经网路是否能同时处理多个影像呢？
这边指的并非vectorized computing，虽然矩阵化运算效率很高，
但想像一下我们是要即时处理串流影像，所以不可能每次都得先录10秒影像，
再把每一帧影像一次丢给神经网路，再等摄影机10秒把下批影像传来。
理论上，一个深度神经网路，任何一层在处理完一张影像，并把资料传递给下一层後，
它应该马上就能继续接收上一层传来的资料来处理，而不用等前一张影像跑完接下来的
每一层才能处理下一张。
所以理论上，一个DNN应该是能像一座工厂的流水线一样，依序同时处理多张图，
每张图依序完成处理，而非只能一次批次处理多张图，每张图同时完成。
但以往看过的范例都只有vecorized的处理方式，
请问这在tensorflow或keras等框架上要如何实践呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 218.187.80.20
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/deeplearning/M.1520431983.A.10F.html
1F：→ ssd860505da: 看你model的目的是什麽 03/08 00:06
2F：→ ssd860505da: 例如seq to seq 03/08 00:06
3F：→ ssd860505da: 也就是影片对应一段文字叙述 03/08 00:06
4F：→ ssd860505da: 那你就应该一段影片对一段文字 03/08 00:06
5F：→ ssd860505da: 多笔资料同时train应该用batch的方法 03/08 00:06
6F：→ ssd860505da: 你那样调back propagation出来的结果好像会乱掉? 03/08 00:06
7F：→ ssd860505da: 以上拙见 03/08 00:06
8F：推 a75468: 假设机器的资源（GPU）是固定的，而且套件把inference最佳 03/08 00:15
9F：→ a75468: 化了，假设某张图进到第三层，如果要去算另外一张图的第二 03/08 00:19
10F：→ a75468: 层的话，第一张图就会卡在第三层等另一张图（资源固定） 03/08 00:19
11F：→ a75468: 所以理论上直接让一张图跑到底是bottleneck比较小的方法（ 03/08 00:20
12F：→ a75468: ？） 不过我也不熟tf or pytorch的实作 等大大开示 03/08 00:22
13F：→ aaaba: 去知乎搜寻 tensorflow queue 试试 03/08 00:33
14F：→ gus2: 在讲testing吧，training应不能这样搞pipeline 03/08 02:05
15F：→ gus2: 觉得楼楼上讲的比较合理，不同模型的图片大小每层所需计算 03/08 02:07
16F：→ gus2: 不同，所以实务上不觉得现阶段的dl框架有可能做这种优化 03/08 02:09
17F：→ gus2: 就算hack的出来，感觉太多小细节需要搞定，不一定比较快 03/08 02:12
18F：→ gus2: 乱猜的 03/08 02:12
19F：→ Kazimir: 我觉得tf对於提高效率 一般比较往分布式的方向走 03/08 02:46
20F：→ pipidog: 把你的图存档,然後用tf queue做列队. 让tf慢慢消化掉. 03/08 04:05
21F：→ pipidog: 想做到跟影像同步基本上不可能.推理本就需要时间. 03/08 04:05
22F：→ ThxThx: 原po也许误解了，真正在运算的是CPU和GPU而不是DNN... 03/08 08:25
23F：→ ThxThx: 如果有多台运算单元，自然可以增加workers/用pipeline串 03/08 08:25
24F：→ ThxThx: 起来。 03/08 08:25
25F：→ ThxThx: 另一种降低latency的方式是降低buffer size 03/08 08:25
26F：→ followwar: 应该说GPU资源就这多...不如全力把一张处理好... 03/10 00:41
27F：推 EGsux: 串流影像用 yolo 03/12 18:42
28F：推 kuarcis: 我觉得没必要 而且实际上layer并不是水管 03/14 08:45
29F：→ kuarcis: layer没有资源独占的问题 自然也不需要针对空闲(?)layer 03/14 08:47
30F：→ kuarcis: 做最佳化 03/14 08:47