作者gino0717 (gino0717)
看板Soft_Job
標題[請益] 該用哪家TPU
時間Sat Jun 15 14:14:33 2019
現在在試intel那根藍色棒棒 Neural Compute Stick
目前看來要跑起來要強制搭配openvino
然後 openvino現在出到R5還R6了 bug還是很多
另外FP16的設計....有些東西沒辦法跑
openvino自己的文字辨識demo 自己那根棒子就跑不動了
用起來差強人意啊
剩下就是
Nvidia的Jetson跟google的TPU
但Jetson不太容易弄到
有沒有 八卦
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.194.164.208 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1560579276.A.20D.html
1F：推 allenchen821: +1想了解 06/15 14:39
2F：推 owem0410: nvidia 基本上也需要 TensorRT呀,google TPU也是一樣 06/15 14:52
3F：→ owem0410: 是叫tensorflow life？神經棒一代是真的頗弱 06/15 14:53
4F：推 owem0410: jetson 不算難買吧？tx2跟nano算好買的 06/15 15:01
5F：推 dev0929: 要看使用的 DL model, 以及應用所須的運算量... 06/15 15:17
6F：推 yiefaung: 邊緣運算接下來比較有搞頭的應該是nv的jetson nano跟goo 06/15 15:34
7F：→ yiefaung: gle的coral吧 06/15 15:34
8F：→ yiefaung: ncs真的難用 06/15 15:34
9F：→ yiefaung: 不然就要找其他有做AI chip的解決方案 06/15 15:36
10F：→ ap954212: Edge tpu dev board 06/15 15:48
11F：→ phantomd: Google coral完美兼容tf lite model 算很好用了 06/15 17:02
12F：推 Murasaki0110: 海思 地平線 比特大陸 06/15 18:29
13F：→ y3k: NCS我覺得只是一個概念產品啊 06/16 00:31
14F：→ LiloHuang: 買了三隻 NCS2 跑起來還可以, USB 供電似乎有點挑就是 06/16 00:57
16F：推 ztdxqa: TPU很難用...直接買GPU就好了 還可以玩遊戲 06/16 01:09
17F：推 zo6596001: Jetson Nano 只是玩具，基本上可以跳過 06/16 10:37
18F：推 qwe85158: 知道ncs2還沒支援lstm的樣子，是說為什麼fp16跑不起來呢 06/16 10:55
19F：→ qwe85158: ，好奇+1 06/16 10:55
我猜是半浮點數算出來的精度有差，我自己試yolo大概超過某個量的class就會開始跑奇怪
的答案 (CPU FP32 跟 MYRIAD FP16 比，FP32正常但FP16會多很多奇怪的答案)
以openvino的文字辨識範例來說就是detection的model可以用FP16跑，recognition則會
沒東西。
把浮點數砍一半雖然能提升效能和速度但似乎不是個治本的方法。
※ 編輯: gino0717 (123.194.164.208 臺灣), 06/16/2019 11:22:56
20F：→ LiloHuang: 都花錢買了 NCS2 也可考慮到 Intel 的論壇回報問題? 06/16 15:16
21F：→ LiloHuang: YOLOv3 FP16 跑 80 classes 滿正常的，其他還沒時間試 06/16 15:19
22F：→ LiloHuang: 也許跟 OpenVino 版本有關，搞不好舊版本有bug之類的.. 06/16 15:21
23F：→ sxy67230: 可以先試試看Google Colab TPU mode，覺得不錯在考慮其 06/16 18:39
24F：→ sxy67230: 他的，畢竟colab幫你把環境都配置的好好的，我目前沒用 06/16 18:39
25F：→ sxy67230: 過colab以外的，不知道跟tensorflow配置的困難性。 06/16 18:39
26F：推 qwe85158: 如果想要深入探討的話，這個問題可以回報給官方看看，他 06/17 22:09
27F：→ qwe85158: 們回復的速度滿快的，而且滿認真幫你處理，這我幫他推一 06/17 22:09
28F：→ qwe85158: 個，另外我使用優化後的FP16在NCS2上跑跟在server上跑出 06/17 22:09
29F：→ qwe85158: 來的metrics精度到小數點後三位都還是相同@@ 06/17 22:09