作者Scape (缺钙缺很大)
看板car
标题[分享] 全自动驾驶两套方案：视觉辨识与光达
时间Mon May 6 06:26:13 2019
这篇文章是根据MIT 科学家Lex Fridman 的自动驾驶讲座的部分内容而写成的，
主要来介绍一下目前全自动驾驶所用到的各种感应器其优点与缺点。
https://i.imgur.com/BMK347H.png
目前全自动驾驶的发展大致上有两种方案，一是视觉辨识加上深度学习，第二种
则是光达(Lidar)加上高精度地图。另外这两种方案都还是会用上例如雷达、超
音波雷达等感应器。
‧视觉辨识加深度学习方案
‧优点：
‧拥有最高解析度的资讯
‧大规模搜集资料与深度学习的可行性高
‧道路原先就是设计给人类的视觉使用
‧便宜
‧缺点：
‧不精确(如果没有大量数据的话)
‧(深度学习)不可解释、不一致
‧光达加高精度地图方案：
‧优点：
‧可解释、一致
‧精确
‧缺点：
‧不会随时间经过而改善
‧(光达、制作高精度地图)贵
而这两套方案所用的感应器，例如雷达(Radar)、光达(Lidar)、相机(Camera)、
超音波雷达(Ultrasonic)等特性也不同以下介绍这些感应器的主要特点：
https://i.imgur.com/1u0oLqF.png
‧雷达：便宜、在极端天气下工作状况良好，但解析度低，是最常被用来检测
及追踪物体的感应器。
https://i.imgur.com/sYqLYwX.png
‧光达：造价贵，对於检测深度(与物体之间的距离)极度精确，解析度要比雷达
来的高，拥有360度的可视范围。
https://i.imgur.com/SsFAyU4.png
‧相机：便宜，有着高解析度，可蒐集巨量数据做为深度学习之用，但对於深度
的估计很差，在极端天气下的工作状况也不好。
下面这四张图则是代表了这些感应器在各种光线与天气条件之下其感应距离与灵
敏度的变化：
https://i.imgur.com/e4sOogJ.png
https://i.imgur.com/ZLtYiC6.png
而若是以
Proximity detection (接近or距离检测)
Range (范围)
Resolution (解析度)
Works in dark (黑暗中工作状况)
Works in bright (明亮时工作状况)
Works in snow/rain/fog (在雪/雨/雾中的工作状况)
Provide colour/contrast (提供色彩/对比资讯)
Detects speed (检测速度)
Sensor size (感应器体积)
Sensor cost (感应器成本)
这几项做为指标的话，那各种感应器的表现如下：
光达：
https://i.imgur.com/lpv5ZWT.png
超音波雷达：
https://i.imgur.com/O4OsAFV.png
雷达：
https://i.imgur.com/oqo3O5p.png
相机(被动视觉)：
https://i.imgur.com/u4ovri8.png
而在使用视觉辨识加上深度学习的这一项方案中，感应器融合是不可少的，将
相机、雷达、超音波雷达这三种感应器加起来可以得到以下的结果：
https://i.imgur.com/S6WX5GZ.png
而这正是Tesla 目前所使用的方案，拿来与光达方案做比较的话，可以发现这两
种方案有以下特点：
https://i.imgur.com/1QlIhU7.png
可以发现，"相机 + 超音波雷达 + 雷达" 这些传感器融合後就能媲美光达，而
光达不能获取色彩/对比数据，最终同样要加上相机，然後解决视觉辨识问题。
也就是说一但解决了视觉辨识问题，那麽只要"相机 + 超音波雷达 + 雷达"就能
覆盖所有感应器所需要解决的事情。这也是Elon Musk 会说全自动驾驶不需要光
达的原因；至於要如何解决视觉辨识问题？那就透过深度学习来解决，而深度学
习所需要的大量数据则透过目前已经安装在几十万辆Tesla 上的感应器来蒐集。
讲座影片：(此篇文章用到的内容从41:55 开始)
https://youtu.be/sRxaMDDMWQQ?t=2515
讲座ppt 下载：
http://bit.ly/2H0Htiz
Dr. Lex Fridman 个人网站：
https://lexfridman.com/
--
https://i.imgur.com/60khZxi.jpg
https://i.imgur.com/3YhAuMC.gif
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.34.252.81
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/car/M.1557095194.A.CB5.html
※ 编辑: Scape (1.34.252.81), 05/06/2019 06:27:53
1F：推 i9100: 新知推 05/06 06:38
2F：→ i9100: 光学雷达,简称光达.目前造价2万美元,跟车价差不多了 05/06 06:39
3F：推 i9100: 简单来讲,相机辨识道路不容易辨识景深 05/06 06:43
其实透过深度学习加上相机(Tesla 前方有三个镜头类似人眼的视差可以制造距离感)
也能很好的判断距离，这方面的研究很多
Tesla 也在前阵子的Tesla Autonomy Day 的展示中也有提到
光用相机得到的数据然後丢进神经网路做深度学习
所得到的距离资讯其实与用雷达检测到的相差无几：
(影片约2:20:44 ~ 2:21:25 这一段)
https://youtu.be/Ucp0TTmvqOE?t=8444
4F：→ i9100: 雷达辨识,没有颜色,需结合地图电脑判断. 05/06 06:44
5F：推 shepherd: 谢谢分享 难怪Musk自信满满 05/06 06:44
6F：→ i9100: 光达既是雷达，有景深，有距离，也有颜色,但sensor 2万美元 05/06 06:44
其实光达也不能判别颜色，这是它最大的罩门
※ 编辑: Scape (1.34.252.81), 05/06/2019 06:57:24
7F：推 aaagang: 不会互相干扰吗? 05/06 07:37
不会喔
雷达是发射波长较长的微波或电磁波然後接收从物体反射的微波或电磁波来测距
超音波雷达则是用人耳听不到频率较高的声波
相机是被动接收可见光
光达则是用波长较短的电磁波(或是说发射雷射or光子)
不太会互相干扰，其频率都不同
※ 编辑: Scape (1.34.252.81), 05/06/2019 07:46:42
8F：推 xru03: 推分享 05/06 07:42
9F：推 lucky945: 长知识 05/06 07:57
10F：→ m996360: 应该需要非常强的後处理器喔 05/06 08:28
所以Tesla 才自己设计专为自己订制的AI 晶片，以获取最好的效能与功耗
11F：推 Richie1105: 好文推 05/06 08:29
12F：推 gk1329: 光达最大缺点就是贵 光达厂再混可能会被淘汰 05/06 08:30
※ 编辑: Scape (1.34.252.81), 05/06/2019 08:40:35
13F：推 northwild: 长知识推 05/06 08:45
14F：推 ilove0618: 光达2万镁算便宜了，拿来做建筑物点云扫描的都要快200 05/06 08:48
15F：→ ilove0618: 万台币 05/06 08:48
16F：推 yahe0526: 推 05/06 08:50
17F：→ dslite: 现在ACC会撞静止车就是雷达解析度太低的毛 05/06 08:55
18F：推 louis960126: 现在低价光达ouster 一颗降到3500镁了 05/06 09:02
19F：推 LebraDcup6: 光达不会被淘汰,就像楼上说的有其特定的市场需求 05/06 09:15
20F：推 kerkerdog: 推，少见的车板好文 05/06 09:18
21F：推 notsmall: 光达太贵了 研究生买不起 05/06 09:23
22F：推 berice152233: 长知识 05/06 09:35
23F：→ berice152233: 光达现在应该军事上用的比较多吧 05/06 09:35
24F：→ ewings: 光达可以分辨颜色。只要在镜头的部分加分光镜，将雷射的波 05/06 09:38
25F：→ ewings: 段滤掉再送到一般的彩色摄影机就行。 05/06 09:38
这样应该还是直接加上相机(彩色摄影机)比较快了 XD
还有一点就是光达解析度相对相机来说低很多
如果要看交通号志、交通标志甚至需要判别文字的话
很低的解析度也不够用
26F：推 sazabik: 构筑这套系统所需要的半导体甚多，未来十年还是半导体时 05/06 09:38
27F：→ sazabik: 代，自驾车相关周边带来的半导体发展还在更上一层楼，继 05/06 09:38
28F：→ sazabik: 智慧型手机後，相关产业的就业跟投资还是正向以对 05/06 09:38
29F：→ ewings: 光达不过就是转得比较快的雷射3维扫描仪而已。 05/06 09:39
30F：→ ewings: 另外讲雷达没有360侦测也是错的。那只是因为车商多半只是 05/06 09:42
31F：→ ewings: 用固定天线，如果雷达用的是电子扫描天线ESA，或是直接像 05/06 09:42
32F：→ ewings: 光达一样放到车顶机械旋转，也一样有360度的侦测 05/06 09:42
33F：推 holyduck: 长知识推 05/06 09:59
34F：→ holyduck: 不过科技可以不断进步 成本叶克透过时间以及大量生产模 05/06 10:00
35F：→ holyduck: 式降低 但要达到level 4 甚至5 法规才是最大的gap 05/06 10:00
36F：推 iamala: 推推，这边的工作内容真的很有趣。 05/06 10:04
37F：→ ciswww: 不完全是法规，请见讲座ppt第26~39页 05/06 10:06
38F：推 xo1st: 涨知识了，谢谢你 05/06 10:17
39F：推 l79cm: 特黑只会说这麽好买了没 05/06 10:55
40F：推 a11629933: 好奇Tesla使用哪一种神经网路是进行深度学习 05/06 11:15
41F：嘘 snapdragon: 两个镜头辨识距离跟深度学习没关系 05/06 12:05
要判断距离确实可以不需要用到深度学习，相对简单的条件下一般的影像识别就能做到
但我说的是Tesla 用的方法是利用神经网路做深度学习去学怎麽只用镜头判断距离
人家就在做了，怎麽会没有关系？
这完全就在我给的影片中就有讲到：
https://youtu.be/Ucp0TTmvqOE?t=8390
42F：推 edwardhsu: 好文推 光达真的贵 公司有用过 05/06 12:40
43F：推 dogluckyno1: 好文 05/06 12:55
44F：→ ewings: 两个镜头辨识距离才需要用到AI吧。双镜头要辨识一颗完美的 05/06 13:10
45F：→ ewings: 球体的距离很容易，但是道路上没那种完美条件，两个镜头看 05/06 13:10
46F：→ ewings: 到的影像不会一样，怎麽知道标定的型心是同一个点？ 05/06 13:10
47F：推 Gayu: 有比较两种方案的能耗吗？ 05/06 13:30
比较能耗要看实际的配备才能决定
深度学习如果用GPU 能耗会很大、但若用订制的AI晶片能耗就比较小
同样的，光达方案的能耗也不一定
※ 编辑: Scape (1.34.252.81), 05/06/2019 14:52:03
48F：推 xhung: 推 感谢分享 05/06 14:43
50F：推 yuinghoooo: 还有一种是超高精度的GPS和电信定位方法，不过这已经 05/06 16:28
51F：→ yuinghoooo: 涉及车联网工程了，目前来看断网也要能安全驾驶似乎是 05/06 16:28
52F：→ yuinghoooo: 目前自驾产业的共识 05/06 16:28
53F：推 JLintopPG: 优文推 05/06 21:46
54F：推 EdwinYeh: 推好文 05/06 22:53
55F：推 atrix: 自驾产业应该从未考虑过车联网这种口号产品就是... 05/07 00:19
56F：推 henrylin8086: 推，自己就是做SLAM相关研究的，目前大多都还是要 05/07 22:29
57F：→ henrylin8086: 靠LiDAR做辅助，纯的Vision要做到优秀的深度还原难 05/07 22:29
58F：→ henrylin8086: 度还真不小。 05/07 22:29
59F：推 Miralles: 推！好文！ 05/07 22:32
60F：→ henrylin8086: GPS+基地台变成会有遮蔽的问题，而且商用GPS的dri 05/07 22:33
61F：→ henrylin8086: ft不是普通的小，Google那是有神一般的演算法才做 05/07 22:33
62F：→ henrylin8086: 到神定位。 05/07 22:33
63F：推 Miralles: 这位教授也有一段半小时多和马斯克的对谈影片也不错 05/07 22:38
64F：推 henrylin8086: 车用应该都声纳雷达啦，在空气中衰减很大，距离不 05/07 22:39
65F：→ henrylin8086: 远，也不稳 05/07 22:39