作者gino0717 (gino0717)
看板Soft_Job
标题[请益] 该用哪家TPU
时间Sat Jun 15 14:14:33 2019
现在在试intel那根蓝色棒棒 Neural Compute Stick
目前看来要跑起来要强制搭配openvino
然後 openvino现在出到R5还R6了 bug还是很多
另外FP16的设计....有些东西没办法跑
openvino自己的文字辨识demo 自己那根棒子就跑不动了
用起来差强人意啊
剩下就是
Nvidia的Jetson跟google的TPU
但Jetson不太容易弄到
有没有 八卦
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.194.164.208 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1560579276.A.20D.html
1F：推 allenchen821: +1想了解 06/15 14:39
2F：推 owem0410: nvidia 基本上也需要 TensorRT呀,google TPU也是一样 06/15 14:52
3F：→ owem0410: 是叫tensorflow life？神经棒一代是真的颇弱 06/15 14:53
4F：推 owem0410: jetson 不算难买吧？tx2跟nano算好买的 06/15 15:01
5F：推 dev0929: 要看使用的 DL model, 以及应用所须的运算量... 06/15 15:17
6F：推 yiefaung: 边缘运算接下来比较有搞头的应该是nv的jetson nano跟goo 06/15 15:34
7F：→ yiefaung: gle的coral吧 06/15 15:34
8F：→ yiefaung: ncs真的难用 06/15 15:34
9F：→ yiefaung: 不然就要找其他有做AI chip的解决方案 06/15 15:36
10F：→ ap954212: Edge tpu dev board 06/15 15:48
11F：→ phantomd: Google coral完美兼容tf lite model 算很好用了 06/15 17:02
12F：推 Murasaki0110: 海思 地平线 比特大陆 06/15 18:29
13F：→ y3k: NCS我觉得只是一个概念产品啊 06/16 00:31
14F：→ LiloHuang: 买了三只 NCS2 跑起来还可以, USB 供电似乎有点挑就是 06/16 00:57
16F：推 ztdxqa: TPU很难用...直接买GPU就好了 还可以玩游戏 06/16 01:09
17F：推 zo6596001: Jetson Nano 只是玩具，基本上可以跳过 06/16 10:37
18F：推 qwe85158: 知道ncs2还没支援lstm的样子，是说为什麽fp16跑不起来呢 06/16 10:55
19F：→ qwe85158: ，好奇+1 06/16 10:55
我猜是半浮点数算出来的精度有差，我自己试yolo大概超过某个量的class就会开始跑奇怪
的答案 (CPU FP32 跟 MYRIAD FP16 比，FP32正常但FP16会多很多奇怪的答案)
以openvino的文字辨识范例来说就是detection的model可以用FP16跑，recognition则会
没东西。
把浮点数砍一半虽然能提升效能和速度但似乎不是个治本的方法。
※ 编辑: gino0717 (123.194.164.208 台湾), 06/16/2019 11:22:56
20F：→ LiloHuang: 都花钱买了 NCS2 也可考虑到 Intel 的论坛回报问题? 06/16 15:16
21F：→ LiloHuang: YOLOv3 FP16 跑 80 classes 满正常的，其他还没时间试 06/16 15:19
22F：→ LiloHuang: 也许跟 OpenVino 版本有关，搞不好旧版本有bug之类的.. 06/16 15:21
23F：→ sxy67230: 可以先试试看Google Colab TPU mode，觉得不错在考虑其 06/16 18:39
24F：→ sxy67230: 他的，毕竟colab帮你把环境都配置的好好的，我目前没用 06/16 18:39
25F：→ sxy67230: 过colab以外的，不知道跟tensorflow配置的困难性。 06/16 18:39
26F：推 qwe85158: 如果想要深入探讨的话，这个问题可以回报给官方看看，他 06/17 22:09
27F：→ qwe85158: 们回复的速度满快的，而且满认真帮你处理，这我帮他推一 06/17 22:09
28F：→ qwe85158: 个，另外我使用优化後的FP16在NCS2上跑跟在server上跑出 06/17 22:09
29F：→ qwe85158: 来的metrics精度到小数点後三位都还是相同@@ 06/17 22:09