作者atron (BigGG)
看板car
標題[分享] 以嵌入式系統自製ACC自動跟車系統
時間Tue Sep 27 21:30:37 2016
小弟最近碩班剛畢業，在整理之前一些作品丟104，
找到去年修資工所的課(本身是電機)期末作業、自己兜了個ACC自動跟車系統，
拿來跟大家交流一下。
Live Demo 實際上路運作情形
https://www.youtube.com/watch?v=pkG9l9XPGDw&t=20s
Offline Demo 不同情況(雨天/上下坡/進出隧道等等)前車偵測情形
https://www.youtube.com/watch?v=pkG9l9XPGDw&t=2m10s
車子是接家裡的2000年CRV，上網去查原廠英文手冊電路圖，
找到原車定速系統加減速訊號怎麼送，
再利用Macbook Air透過Arduino和Relay把訊號打進去來控制速度
車距則是利用單攝影機進行車距估測(有參考近幾年國內外相關paper)，
而且對攝影機仰角與高度不是很要求(透過一些方法校正)
攝影機VGA規格(640x426)可做到real time, 最遠瞄到50m
所以算是跟滿緊的(Taiwan style?)
踩煞車會自動切斷迴路控制,總開關也可以關掉,駕駛是能隨時全權控制車輛的
原本想連電腦都省掉，弄個樹莓派啥的全用嵌入式系統，
可是效能太差(也沒甚麼時間優化,期末也有別科作業期末考...)
就變成現在這個樣子了...
不然原本想加入行人偵測和車牌辨識(有用機器學習實作過,但效能鳥鳥der)
大家就颱風天隨意看看，有興趣可以一起討討論啦!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.70.109.92
※ 文章網址: https://webptt.com/m.aspx?n=bbs/car/M.1474983041.A.9E9.html
1F：→ WANGCHIEN: 讚 09/27 21:34
2F：推 imwithus: 超屌的 09/27 21:35
3F：推 willy9773: 好屌，我只能把arduino拿來馬達正反轉… 09/27 21:37
4F：→ dslite: 呃 你車號多少 在哪出沒 09/27 21:38
大哥別抓我@@ 後來就拆掉啦，少一台筆電很不方便的
5F：推 p033520: 強 09/27 21:40
6F：推 waterdisney: 距離校正演算法看起來不錯耶 感覺誤差值蠻小的! 09/27 21:41
7F：推 waterdisney: 我是對你怎麼拉定速系統訊號線比較有興趣.!! 09/27 21:46
放一下之前期末報告的投影片
http://i.imgur.com/xMLIulv.jpg
就是去翻原廠維修手冊看他腳位怎麼定義的囉!
8F：推 fxf811: 強 09/27 21:46
9F：推 angrd: 厲害... 09/27 21:48
10F：推 mark0708: 有神快拜.. 09/27 22:02
謝謝大家啦!真的神的話工作就不會這麼難找啦XD
※ 編輯: atron (61.70.109.92), 09/27/2016 22:04:53
11F：推 refgdata: 嚴董快來招募啊 09/27 22:05
12F：推 waterdisney: 對了 台灣沒啥公司做這個 你可去投對岸百度無人車 09/27 22:06
13F：→ waterdisney: 2個月前大陸的hunter找人找很兇 09/27 22:06
有投台灣幾間一線豬屎屋，不過幾乎都沒下文哈(可能大學時期是私立被hr篩了)
14F：推 c9840306: 想問一下為什麼不要直接用雷達來取代影像？傳統acc都是 09/27 22:07
15F：→ c9840306: 使用雷達。 09/27 22:07
16F：推 qqwweerrqq: 怎麼用只用攝影機判斷距離呢？ 09/27 22:07
樓上兩位所說的當初真的有考慮過,後來上淘寶看那些設備(還有LIDAR)的價錢...
對學生負擔太大啦XD
還有就是知道要做期末專題只剩一兩個月吧,沒把握兜得完整套系統
不過影像也有好處, 就是可以識別內容(例如車道線/限速標誌)這很好用的,
也是雷達等測距系統幹不到的事情,所以相關廠商都會fusion多種sensor作為判斷
其中許多廠商做為主力的是毫米波雷達MMW(基本的有24mhz/77mhz,再到進階的79mhz等等)
而SUBARU跟別人比較不一樣的是,他還加入了雙鏡頭提供立體視覺輔助,
個人覺得頗猛的(當初也找了不少專利)
而ADAS系統在視覺方面的佼佼者則一定要提到mobileye這家以色列廠商，
許多大廠(包含曾經的Tesla..)都用他的solution
一顆小小的鏡頭跟晶片就能即時偵測路上各種車輛與障礙物
好像不小心越打越多離題了XD
好啦單純用影像的缺點就是容易受氣候影響, 像我的演算法在夜間環境就沒用了QQ
17F：推 ryu057: 好強啊 09/27 22:09
18F：推 zivking: 太厲害了 09/27 22:09
19F：推 Tosca: 這下大雨或夜間能用嗎 09/27 22:11
下大雨我沒試過...不敢試XD應該是不太行，
天太黑就沒辦法了，這顆羅技的鏡頭前車一煞車馬上畫面爆掉啦
20F：推 eric19850629: 太神惹 09/27 22:15
※ 編輯: atron (61.70.109.92), 09/27/2016 22:40:55
21F：→ mayasky: 用可見光，晚上怎辦？ 09/27 22:23
傍晚勉強可,晚上會直接GG
22F：推 s0991192568: 屌 09/27 22:27
23F：推 er230059: 推 09/27 22:28
24F：推 markcupcup: 厲害喔，找間好公司加入，青出於藍 09/27 22:28
25F：→ a9564208: 抓標線寬度算距離? 09/27 22:34
好像看過paper(還是專利?)有提過這種方法，不過台灣的標線寬度沒有很一致，
再加上有時標線重劃、道路縮減等狀況，
或許可以作為輔助，但不能做為主要的測距方法
至少小弟不是這樣做啦XD
26F：推 Oreck: 原PO是做期未報告,用手邊最易取得的東西來做 09/27 22:36
27F：→ Oreck: 行車記錄器比雷達容易取得多,甚至不用買囉! 09/27 22:36
阿阿忘記提到，攝影機是羅技的C310，
當初想說買來做完可以拿來桌機視訊，不過後來被我拆到太小塊了懶得組回去了哈
28F：推 insingW: 神 09/27 22:38
29F：推 Sunal: 英文練好，出國應該有搞頭..... 09/27 22:45
多益不高QQ 要再好好加強
30F：推 billyij: 威猛 09/27 22:47
※ 編輯: atron (61.70.109.92), 09/27/2016 22:53:52
31F：推 thigefe: 不錯 09/27 22:51
32F：推 a202052003: 拿顆帶CAN bus的ARM 組個分散式運算架構應該夠用了 09/27 22:53
33F：推 MTBSsales: 超強！ 09/27 22:55
34F：推 Pharmarette: 好厲害！！ 09/27 22:59
看到回響這麼熱烈，再提一下關於雷達跟攝影機
單純用毫米波雷達的話，通常會限制在一定的速度以上才能開啟，
當道路彎曲且無前車時，雷達是直接打到前方圍牆等障礙物，
萬一識別為前車靜止、而緊急煞車會發生危險，
所以通常雷達偵測到靜止物，有可能會視為雜訊把它濾掉
然後前陣子看到這則新聞：
http://technews.tw/2016/09/15/first-tesla-crash-in-china/
這起案例中被撞物是靜止的，雖Tesla同時使用攝影機和雷達，
但或許這方面也影響了相關系統的判別而造成悲劇發生
(不過也有可能根本沒開啟ACC功能,還是以官方調查結果為準)
而太依賴影像的結果也不好。
Subaru的Eyesight系統提供自動煞車功能，
去年在日本就發生過前車排氣的白霧，造成車輛判斷為障礙物而自動煞車
畢竟ACC、進而到ADAS系統都是攸關人命(不管事駕駛人還是其他用路人)
何況車規本來就是非常嚴格的市場
結合多種感測器、車聯網、V2V等應用其實各廠都在卯足全力在開發
小魯兜這些東西其實只是很基本的應用而已啦！
※ 編輯: atron (61.70.109.92), 09/27/2016 23:22:01
35F：推 hb0922: 很猛，應該會很多公司要你 09/27 23:13
36F：推 ntunick: 建議出國找工作，台灣會埋沒你的專長……那種pay是台灣 09/27 23:18
37F：→ ntunick: 給不起的 09/27 23:18
其實只是幾個簡單的東西和演算法兜起來而已啦,
一般電機資工的學生應該都有學過相關的技術,國外不敢想太多XD
38F：推 orange7986: 不錯 嚴董需要你 09/27 23:22
39F：推 setunarx: 現實是台灣公司作不到這產品的生意，另外這東西在國外 09/27 23:24
40F：→ setunarx: 幾乎快變成標配，代表剩下的只有殺價競爭空間 09/27 23:24
41F：→ setunarx: 唸書時家裡的車可以讓你這樣玩，畢業好久車都還買不起 09/27 23:26
42F：→ setunarx: 的大叔表示羨慕。 09/27 23:26
畢竟也是台16歲的老爺車，陪我從小到大也不忍心報廢QQ就接下來了
43F：推 Quasars: 丟到網路上宣傳，試看看LinkedIn 09/27 23:29
有用了XD只是魯蛇在那裡沒什麼朋友
44F：推 idioyao: 厲害給推 09/27 23:34
45F：推 profiles: 現在蠻多學生用opencv 弄些影像處理搭配一些馬達控制的 09/27 23:39
46F：→ profiles: 專題，像魯叔我最近就錄取了一個搞自走robot的，建議你 09/27 23:39
47F：→ profiles: 朝robot玩看看 09/27 23:39
48F：→ profiles: 要進一線豬屎屋，看看是不是履歷有什麼地方可以加強一下 09/27 23:42
49F：→ profiles: ，讓人印象深刻 09/27 23:42
謝謝前輩指教，小弟碩班做訊號處理的，
openCV call function很方便，在趕影像相關計畫時滿好用的XD
我這個作業在影像處理部分也有用到一些
履歷會再去參考其他學長姐和網路上高手的範例做修正的
50F：推 yrt3168: 自走車很多人玩阿 09/27 23:49
※ 編輯: atron (61.70.109.92), 09/28/2016 00:06:42
51F：推 xanter: 強者 09/28 00:09
52F：推 polypress: 欸 車道有彎度好像會跟錯車道的車耶 09/28 00:14
是的，如果弧度大加上前車很遠的話有可能，因為目前車道線是以直線為主，
如果有時間的話可能會用找車道線特徵配合least square之類的方法去解弧線
達到更準確的車道辨識能力。
這個問題也是純使用毫米波雷達做ACC系統會遇到的狀況囉
※ 編輯: atron (61.70.109.92), 09/28/2016 00:27:11
53F：推 MaiDanGao: 加油啊！！ 09/28 00:34
54F：推 dezjordan: 推 09/28 00:40
55F：推 closeryu: 超強 09/28 00:40
56F：→ ASKA: mobileye那個應該有硬體加速。我想可以用FPGA來做演算法部分 09/28 01:20
57F：→ ASKA: 就可以用嵌入式來做了。 09/28 01:20
59F：推 kaoyoshuai: 厲害厲害 XD 09/28 01:26
60F：推 spencer222: Raspberry做動態影像處理簡直悲劇 09/28 01:33
61F：推 spencer222: 這個我也寫過 不過演算法不同 我是用雙鏡頭去抓車距 09/28 01:36
62F：→ spencer222: 但我只有拍影片offline跑 沒實裝到車上 做車用電子 09/28 01:36
63F：→ spencer222: 很有趣 但就是車廠的薪水太少惹XD 09/28 01:36
雙鏡頭做stereo matching嗎? 我們lab也有做過這方面的XD
車用真的滿有趣的,實作自己的成果出來滿開心的哈
64F：→ suntex01: 能不能推薦一下openCV的工具書? 09/28 01:36
65F：→ suntex01: 你這個影像也是用openCV下去做的嗎? 09/28 01:37
一些前處理有透過openCV減少開發時間囉!
我覺得是不用買書,想要用什麼功能網路查查就好
反倒是C/C++我覺得還是要有本好用的書比較實用(C&CPP版上有書單)
66F：推 spencer222: 嵌入式實作有一款TI C6XXX的DSP板子有機會實作 09/28 01:37
當初修課只有用塊多年前的Panda Board，用新版子還要再好好加強相關技能XD
67F：推 Morphee: 沒有用deep learning的話 都離state of the art 很遠 09/28 01:45
68F：→ Morphee: 單純就純影像方法來說 09/28 01:45
是的沒錯! 其實單純影像處理來做已經有滿多文獻了，
我自己在做行人偵測上有用過機器學習來做(不過這也算舊東西了)
碩班有在碰deep learning，現在實驗室也有在接深度學習相關的計畫，
但要應用在ADAS這塊還要real time會需要滿長的開發時間就是了
如果失業閒閒在家再來繼續精進XD但還有很多要再學習的！
69F：推 umyiwen: 推 09/28 01:51
70F：推 spencer222: Deep learning的話...先搞定硬體吧...不然光MNIST就 09/28 02:03
71F：→ spencer222: 不知道要train多久... 09/28 02:03
72F：推 spencer222: 公司的電腦插了2塊CUDA卡 大概跑2萬次最佳化也要花個5 09/28 02:06
73F：→ spencer222: 分鐘@@ 09/28 02:06
https://www.youtube.com/watch?v=KTrgRYa2wbI
這個是去年神級駭客Geohot自己DIY以deep learning弄出來的自駕系統,只能膜拜了XD
雖然後來也被Tesla提出不少問題就是了
※ 編輯: atron (61.70.109.92), 09/28/2016 02:21:10
74F：推 v19791119: 專業文 09/28 02:59
75F：推 Morphee: Geohot已經準備開始賣半自駕套件了 一千鎂 09/28 03:57
感謝補充!
76F：推 owenx: 來朝聖XD。話說iPhone7 CPU都比我的nas快了，不知道有沒有 09/28 05:21
77F：→ owenx: 有沒有廠商考慮把手機當成行車電腦用XD 09/28 05:21
行車電腦牽涉到安全頗難，當成行車紀錄器倒是不少XD
不過現在出不少OBDII的藍芽套件可以用手機接收看車況，也是滿有趣的應用就是
78F：推 kathyfour: 推 台灣專門在埋沒人才 囧 09/28 06:03
79F：推 sysop5566: 出國拼有機會 09/28 07:09
80F：推 wa88: 讚！推！ 09/28 08:18
81F：推 gingiby: 推 好猛 09/28 08:28
82F：推 alexendrawu: TOYOTA的ACC是用微波系統，在雨天也是會失效的 09/28 08:32
83F：推 utahjazz: 這能不推嗎? 09/28 08:33
84F：推 FRX: 台灣不是沒人才，是沒環境!大老闆們看到了嗎？ 09/28 08:58
85F：推 DSB520: 讚 超強 你怎麼判斷行駛中的障礙物？ 09/28 09:01
主要是找出物體的邊緣與影子來判斷!
86F：推 bowenchen: 強者我學長，推推 09/28 09:16
怎麼好多版都看得到你XD
87F：推 sazabik: 這才是真材實料，其他學生廢 09/28 09:20
88F：推 rex00125: 好猛 09/28 09:31
89F：推 kobe7610: 原po推！ 09/28 09:52
90F：→ kobe7610: 比有人說塞車ACC沒用的強太多了 09/28 09:52
91F：推 iifz32: 讚讚 09/28 09:53
92F：推 chandler0227: Deep learning用在real time對電腦負擔很大 09/28 10:17
93F：→ chandler0227: 雷達跟Lidar還是有差異(後者成本高出不少) 09/28 10:18
94F：→ chandler0227: 影像辨識還有反光(路面積水、大熱天柏油反射)的難題 09/28 10:18
95F：→ chandler0227: 現在主流是三者至少取兩項用，一項主要另一項做補償 09/28 10:19
是的!主流還是以毫米波雷達搭配影像輔助，小弟在前面有提到一部分
EDN:
http://www.edn.com/Home/PrintView?contentItemId=4011081
這裡可看到所提出之不同感測器可偵測範圍與距離，
77/79ghz毫米波雷達能提供較遠之偵測距離，在高速行駛的高速公路上是較主力的方法，
也能克服一般常見的天候狀況，但在大雨/大雪的情況下也容易失效
(不過那種情境,人大概也不敢交給機器開了XD)
IHS:
https://goo.gl/K41ZVo
這邊也有提到將兩種不同的77ghz雷達結合影像做sensor fusion的應用
再補充一些前幾頁提到的毫米波雷達的缺點，放個圖大家就能一目瞭然了：
http://i.imgur.com/TStWeCJ.jpg (ref.:
http://www.weixinkd.com/n/8533867)
縱使結合各種感測器之優缺點，但路況百百種還是有可能出現錯誤判斷的情況，
所以一般車廠在推這些東西時才會經過非非非非非非非非常多次的路試，
像福特的自駕車(有搭配LIDAR)甚至還拉到雪地測試順便宣傳XD
96F：推 volkov: 好強喔！ 09/28 10:29
97F：推 inleuyen: 你該不會是修我們老師的課吧XD 車用電子？ 09/28 11:34
YAP！ PS Chen XD
還記得老師那時找來某科大與LUXGEN合作的教授演講，給了小魯不少刺激呀！
98F：推 bearland: 推，感謝分享。 09/28 12:25
99F：推 er230059: 要不要明年去投COSCUP介紹一下XD 09/28 12:28
小魯孤陋寡聞剛剛goo一下才知道這活動XD
100F：推 bio5chris: 強，不要埋沒在台灣了 09/28 12:51
101F：推 leyincat: 真強者 09/28 14:19
※ 編輯: atron (61.70.109.92), 09/28/2016 15:07:15
102F：推 mein: 太厲害了 09/28 15:39
103F：推 apple222286: 請問影像處理都是由電腦處理，arduino只負責傳訊號? 09/28 15:48
是的! 工作都是在Macbook做，Arduino跟繼電器用來送訊號
※ 編輯: atron (61.70.109.92), 09/28/2016 15:54:34
104F：推 spencer222: 我背景跟你很像 影像+嵌入式系統 我也是今年應屆碩畢 09/28 17:11
105F：→ spencer222: 我是4月開始找 7月底上工，那時候比現在更難找 09/28 17:12
106F：→ spencer222: 一樣血統不純正XD 09/28 17:12
107F：→ spencer222: 這陣子主要式卡都在面研替的 第一份工作很重要 09/28 17:13
108F：→ spencer222: 千萬別為了快點找到就屈就 應該10月開始會正職比較多 09/28 17:14
109F：→ spencer222: 加油吧 共勉之 09/28 17:14
我們實驗室也是以訊號處理/影像處理為主，
血統不純正真的就少掉很多機會了XD只能全力加強專業的部分來彌補，
感謝前輩指教！
110F：推 yuinghoooo: 牛人阿 09/28 18:45
111F：推 sazabik: 不推不行 09/28 21:07
112F：推 deo2000: 不知道這幾位用哪種辨識模型？Deep Learning應該很好找 09/28 22:49
我只懂皮毛而已，因為碩論不是做這塊A_A 所以目前沒有往這方向找工作，
不過還是會持續加強這部分的
113F：推 wade2528: 這太強不推不行 09/29 01:43
114F：推 kokunmai: 09/29 02:18
115F：推 jason3168383: 厲害 09/29 03:00
116F：推 dkna: 這個一定要鼓勵一下 09/29 07:36
117F：→ ststLiang: 一線豬塞屋也許在人事就因為血統被刷掉了 09/29 11:06
實驗室還是有不少學長姊進到一線的，不過他們能力都是很強的
學歷不如人就要認命點，盡力拚好專業部分把握能把握的XD
※ 編輯: atron (61.70.109.92), 09/29/2016 16:37:14
118F：→ suntex01: c/c++手上有reference.只是openCV要怎麼用不是很熟... 10/01 22:23
119F：推 kevin8038: 強者 10/27 01:26
120F：推 CCben: 推 10/27 08:23
121F：推 Edaw: 推 10/27 22:12