作者wrt (一片小蛋糕走路而已,所n)
看板DataScience
标题Re: [问题] FPGA加速machine learning?
时间Sun Apr 15 18:11:11 2018
对於已训练好的模型
FPGA在预测上和GPU速度已经是不相上下
原因是虽然FPGA 频率没有这麽快
但是有大量的register可以做流水线
例如gpu一次可以做1000个乘加
但是一个乘加要4个clock才会做完
所以1000个乘加到下1000个乘加间要隔4个clock
所以平均每个clok可以做250乘加
而假如fpga一次可以做250个乘加
每个乘加也是需要4个clock
但是因为流水线的关系
第4个clock之後每个clock都可以输出250个乘加
所以大量运算下平均每个clock可以做250个乘加
但是相同规格的FPGA价格只要GPU的一半
而且所消耗的电量只要1/8
不过由於fpga是把硬体写死
所以没办法放太多东西进来
FPGA用来训练的话就没GPU那麽快了
好的搭配是开发人员用GPU训练
然後把训练好的模型用FPGA去大量预测
对於data center来说是非常省成本的
例如Facebook 通常都是把训练好的模型放在主机上
然後用户有上传资料时才做预测
这时他们考虑的就是电价而已
※ 引述《PyTorch (屁眼火炬)》之铭言:
: 如题
: 以前听过FPGA加速machine learning
: 我一直不懂什麽原理
: 我可以理解平行运算可以加速矩阵运算
: 但是一般的GPU就有这种功能了吧?
: 而且我记得FPGA的gate delay不是比一般IC大吗?
: 为什麽用FPGA可以加速呢?
: 想请问有没有人能帮我解惑?谢谢
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.83.99.85
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1523787076.A.756.html
1F:推 NTUEE2CS: 推这篇 04/15 21:07