作者wu110011 (不下棋)
看板Physics
標題[問題] 由二維影像重建3D模型
時間Mon May 25 22:08:08 2015
不知道在哪個版發問，想說這裡高手也蠻多的
只好來這裡問，也算是有關物理，影像處理的吧~
在網路上看到一個軟體叫 Agisoft PhotoScan
他可以利用一般相機對著物體拍不同角度的影像
然後利用這些二維的影像重建出三維的影像出來
影片連結如下:
https://www.youtube.com/watch?v=ZGxFuprHeck
https://www.youtube.com/watch?v=DzCeHFEUaro
想請問這技術是如何做出來的呢?
有關鍵字可以找技術資料嗎? 謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.83.106.69
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Physics/M.1432562891.A.84E.html
※ 編輯: wu110011 (111.83.106.69), 05/25/2015 22:11:16
※ 編輯: wu110011 (111.83.106.69), 05/25/2015 22:15:28
1F：→ wohtp: 這跟數學板的關係還比較大一點... 05/25 22:23
2F：→ protien: 醫院就有了阿 電腦斷層掃描 05/25 22:48
3F：推 Entropy1988: 這應該沒有斷層 05/25 23:47
4F：推 ray39620: 感覺像數位化全像, 可以去程式相關版問看看 05/26 00:52
5F：→ aada: 這不是全像 05/26 11:20
6F：→ doom8199: 跟物理關係不大吧, 2D影像重建3D模型是很老舊的題目 05/26 12:44
7F：→ doom8199: 資工系一般project就有在做。但因計算量大、且效果不佳 05/26 12:44
8F：→ doom8199: 近期是搭配主動式掃描器達到 real-time 3D 重建 05/26 12:45
9F：→ doom8199: 斷層掃描是 2d rendering, 目的完全不一樣 05/26 12:48
10F：推 FunkyMajik: 就tomography阿，本質上跟電腦斷層CT沒太大不同啊，CT 05/26 16:31
11F：→ FunkyMajik: 本來目的也是要重建3D，我印象中Goodman的Fourier opt 05/26 16:31
12F：→ FunkyMajik: ics應該有提到這個。顯微術領域ㄧ堆人做tomography。 05/26 16:31
13F：→ FunkyMajik: 現在比較夯的，有以EM為基礎的EM Tomography，UIUC、U 05/26 16:31
14F：→ FunkyMajik: CLA、Arizona State都有大咖在搞這個，有的是實驗為主 05/26 16:31
15F：→ FunkyMajik: ，有的是發展演算法，中山物理就有老師在做這個。也 05/26 16:31
16F：→ FunkyMajik: 有以FIM為基礎發展的Atom probe tomography，這東西 05/26 16:31
17F：→ FunkyMajik: 光最基本的機台就破億了，台灣學術界根本沒實驗室玩得 05/26 16:31
18F：→ FunkyMajik: 起，不過這機台對材料分析幫助極大，歐美還是很多大 05/26 16:31
19F：→ FunkyMajik: 實驗室砸錢下去，雖然現在主要是材料領域的人在玩這 05/26 16:31
20F：→ FunkyMajik: 儀器，但是發展這樣技術的人多半是物理領域的，而且這 05/26 16:31
21F：→ FunkyMajik: 技術到目前為止還在持續發展，遠遠稱不上成熟。另外， 05/26 16:31
22F：→ FunkyMajik: 最近正夯的TPS，其中一個很重要的題目就是3D的CDI，在 05/26 16:31
23F：→ FunkyMajik: 建構3D影像那部分的演算法其實跟tomography也是大同小 05/26 16:31
24F：→ FunkyMajik: 異。總的來說，除了atom probe機制不太一樣之外，所 05/26 16:31
25F：→ FunkyMajik: 有這方面的影像重建演算法，大概都可以算是Fourier光 05/26 16:31
26F：→ FunkyMajik: 學的進階應用吧 05/26 16:31
27F：→ freef1y3: 這應該只是先建point cloud再re-mash 05/26 17:14
28F：→ freef1y3: 兩張照片找出相同的點，根據照片中的位置反推出 05/26 17:14
29F：→ freef1y3: 點在空間的位置，等找出一堆點後再重建點與點的連線 05/26 17:15
30F：→ freef1y3: 應該不需要什麼很貴的器材 05/26 17:16
31F：→ freef1y3: 不過我也不是很懂，猜的 05/26 17:17
32F：推 doom8199: 這跟 CT真的一點關係也沒有XD, CT 是先用 X-ray拿到被 05/26 17:58
33F：→ doom8199: 掃描物各個角度的 depth，再回推某一橫切面的幾何構造 05/26 17:58
34F：→ doom8199: 藉此看身體內部是否發生異常，重點在 "內部構造" 05/26 17:58
35F：→ doom8199: 重建 3D"表面"模型又沒甚麼幫助 05/26 17:58
36F：→ doom8199: 這裡的 3D reconstruction, 只要一台相機 + CV 的相關 05/26 17:59
37F：→ doom8199: 知識就可以做了，根本不需要幾百萬、幾億的機器 05/26 18:00
38F：→ protien: 其實重建的演算法是類似的 只是光源不一樣 05/26 20:58
39F：→ protien: 演算法的部分單然不需要很高級的儀器就能做了 05/26 20:59
40F：→ protien: 只需要記憶體要很大的電腦能夠處理 05/26 21:00
41F：→ protien: 影片上用的是可見光 所以只需要處理吸收跟反射的光訊號 05/26 21:03
42F：→ protien: 當你用到x-ray或者高能電子束 就能重建內部結構 05/26 21:06
43F：推 FunkyMajik: 同樓上，只是光源不同而已，演算法根本沒啥差別。用可 05/26 22:36
44F：→ FunkyMajik: 見光照不透明物體就是只有表面，用X光或電顯就會有內 05/26 22:37
45F：→ FunkyMajik: 部資訊，但表面資訊一樣存在。如果這就算完全不同， 05/26 22:37
46F：→ FunkyMajik: 那XRD跟LEED也是完全不同的技術了XD 05/26 22:37
47F：推 FunkyMajik: 以前電腦計算速度、記憶體都不夠，CT實際作法的確如d 05/26 22:46
48F：→ FunkyMajik: 大所說，但CT這個方法，理論上，比方照大腦，是要重 05/26 22:46
49F：→ FunkyMajik: 建整個大腦由內而外的3D影像，一覽無遺。 05/26 22:46
50F：推 aada: 我覺得這還用不到傅光吧 05/27 00:36
51F：→ aada: 簡單的三角定位法應該就能解了,原理跟CT不一樣 05/27 00:37
52F：→ Entropy1988: 這個就算把光的相位資訊都丟掉也可以做吧？你如果很 05/27 11:53
53F：→ Entropy1988: 閒的話甚至可以人工的把臉的表面重建出來。 05/27 11:53
54F：→ Entropy1988: 所以這就已經和那些要依賴相位資訊的技術有所分別了 05/27 11:54
55F：→ doom8199: 可以先去了解 "image based" 3d rec. 的常見作法與困難 05/28 01:32
56F：→ doom8199: 再來腦補好嗎? 已經說了兩者做法完全不一樣，我沒有特 05/28 01:33
57F：→ doom8199: 別提到原po的問題, 是因為它的作法大多跟物理一點關係也 05/28 01:34
58F：→ doom8199: 沒有。 例如給定兩張照片，你要如何寫一個程式，判斷 05/28 01:35
59F：→ doom8199: A照片的眼睛、嘴巴某個 pixel，對應到B照片的某點 05/28 01:36
60F：→ doom8199: 裏頭要考慮到 feature extraction、edge、occlusion 等 05/28 01:38
61F：→ doom8199: 這還僅僅只是為了找對應點。做之前還得先處理 camera 05/28 01:39
62F：→ doom8199: calibration； 而 CT 資料那麼充足，只是利用 freq. 05/28 01:41
63F：→ doom8199: domain 搭配 IIR filter 來做資料的投影與影像強化 05/28 01:41
64F：→ doom8199: 作法比起來簡單許多，核心演算法哪裡差不多? 05/28 01:44
65F：推 FunkyMajik: 你確定你真的明白tomography是什麼嗎 05/28 20:06
67F：→ protien: 基本上d大 提到的運算 tomography重建時應該都會處理到 05/28 21:38
68F：→ protien: 而且取影像的方法是多角度上的projection 05/28 21:40
69F：→ protien: 所以可以當作是利用相機直接取影像 05/28 21:40
70F：→ wohtp: 雖然最核心的topography做法是一樣的，但是樓上幾位可能忽 05/29 01:05
71F：→ wohtp: 略了d大說的難關。 05/29 01:06
72F：→ wohtp: CT scan之類的技術是你一顆頭放在那裡不動，sensor給你360 05/29 01:07
73F：→ wohtp: 拍一圈。因為儀器都是微調好的，所以每一張數位影像的哪個 05/29 01:08
74F：→ wohtp: pixel是3d空間哪條線的投影我們都已經事先知道了。 05/29 01:09
75F：→ wohtp: 但是影片裡面的技術看來是你隨手拿個攝影機拍一圈 05/29 01:10
76F：→ wohtp: 所以連攝影機鏡頭的軌跡都必須要從影片裡面算出來。這跟 05/29 01:12
77F：→ wohtp: 直接拿已知軌跡來重建3D模型是不同的問題 05/29 01:13
78F：推 FunkyMajik: 樓上你說的這個是屬於個別技術細節。像EM tomography 05/29 14:04
79F：→ FunkyMajik: 我們說它是跟CT類似的技術，但技術細節也會有很大差 05/29 14:05
80F：→ FunkyMajik: 異阿，EM中是電子束(光源)固定不動，旋轉樣品然後收散 05/29 14:06
81F：→ FunkyMajik: 射電子訊號。乍聽之下好像軌跡你都可以清楚知道，但EM 05/29 14:08
82F：→ FunkyMajik: 中樣品會飄移，樣品旋轉時也不一定完全在軸心上，你可 05/29 14:09
83F：→ FunkyMajik: 能覺得那不過是微米甚至奈米級的差距可忽略，但是EM 05/29 14:10
84F：→ FunkyMajik: tomography要重建的目標是atomic scale的，那幾十奈米 05/29 14:12
85F：→ FunkyMajik: 的差距，就遠比隨手繞一圈拍照要校正的東西更多。 05/29 14:14
86F：→ doom8199: 到底要我說幾次, "這不是 tomography" x N 05/30 12:55
87F：→ doom8199: 因為很重要得說N次。 若你您想腦補任何的3d重建技術都跟 05/30 12:56
88F：→ doom8199: CT類似這我管不著，但麻煩不要讓其他版友有類似的錯誤 05/30 12:57
89F：→ doom8199: 認知好嗎? 光就產生 depth map 而言，你只要給我 x-ray 05/30 12:58
90F：→ doom8199: 掃描後的數據，我馬上就能用 matlab 寫出來 05/30 12:58
91F：→ doom8199: 可是光從 color images 要做 depth estimation 05/30 12:59
92F：→ doom8199: 要做的事情遠比 CT 還要來的多,而且效果不佳&不夠robust 05/30 13:00
93F：→ doom8199: 所以我推文一開始就說，需要搭配主動式掃描器(如kinect) 05/30 13:01
94F：→ doom8199: 才有機會把這東西做好 05/30 13:02
95F：→ doom8199: 然後也麻煩去"實作" multiple view 3d reconstruction 05/30 13:07
96F：→ doom8199: 不要總是用物理看世界，不去實作or了解卻一直 CT來CT去 05/30 13:10
97F：推 aada: d大息怒~ 05/30 23:35
98F：推 b99605015: 題外話，holography可以重建3d image，但跟這無關 06/02 08:13