作者wu110011 (不下棋)
看板Physics
标题[问题] 由二维影像重建3D模型
时间Mon May 25 22:08:08 2015
不知道在哪个版发问，想说这里高手也蛮多的
只好来这里问，也算是有关物理，影像处理的吧~
在网路上看到一个软体叫 Agisoft PhotoScan
他可以利用一般相机对着物体拍不同角度的影像
然後利用这些二维的影像重建出三维的影像出来
影片连结如下:
https://www.youtube.com/watch?v=ZGxFuprHeck
https://www.youtube.com/watch?v=DzCeHFEUaro
想请问这技术是如何做出来的呢?
有关键字可以找技术资料吗? 谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.83.106.69
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Physics/M.1432562891.A.84E.html
※ 编辑: wu110011 (111.83.106.69), 05/25/2015 22:11:16
※ 编辑: wu110011 (111.83.106.69), 05/25/2015 22:15:28
1F：→ wohtp: 这跟数学板的关系还比较大一点... 05/25 22:23
2F：→ protien: 医院就有了阿 电脑断层扫描 05/25 22:48
3F：推 Entropy1988: 这应该没有断层 05/25 23:47
4F：推 ray39620: 感觉像数位化全像, 可以去程式相关版问看看 05/26 00:52
5F：→ aada: 这不是全像 05/26 11:20
6F：→ doom8199: 跟物理关系不大吧, 2D影像重建3D模型是很老旧的题目 05/26 12:44
7F：→ doom8199: 资工系一般project就有在做。但因计算量大、且效果不佳 05/26 12:44
8F：→ doom8199: 近期是搭配主动式扫描器达到 real-time 3D 重建 05/26 12:45
9F：→ doom8199: 断层扫描是 2d rendering, 目的完全不一样 05/26 12:48
10F：推 FunkyMajik: 就tomography阿，本质上跟电脑断层CT没太大不同啊，CT 05/26 16:31
11F：→ FunkyMajik: 本来目的也是要重建3D，我印象中Goodman的Fourier opt 05/26 16:31
12F：→ FunkyMajik: ics应该有提到这个。显微术领域ㄧ堆人做tomography。 05/26 16:31
13F：→ FunkyMajik: 现在比较夯的，有以EM为基础的EM Tomography，UIUC、U 05/26 16:31
14F：→ FunkyMajik: CLA、Arizona State都有大咖在搞这个，有的是实验为主 05/26 16:31
15F：→ FunkyMajik: ，有的是发展演算法，中山物理就有老师在做这个。也 05/26 16:31
16F：→ FunkyMajik: 有以FIM为基础发展的Atom probe tomography，这东西 05/26 16:31
17F：→ FunkyMajik: 光最基本的机台就破亿了，台湾学术界根本没实验室玩得 05/26 16:31
18F：→ FunkyMajik: 起，不过这机台对材料分析帮助极大，欧美还是很多大 05/26 16:31
19F：→ FunkyMajik: 实验室砸钱下去，虽然现在主要是材料领域的人在玩这 05/26 16:31
20F：→ FunkyMajik: 仪器，但是发展这样技术的人多半是物理领域的，而且这 05/26 16:31
21F：→ FunkyMajik: 技术到目前为止还在持续发展，远远称不上成熟。另外， 05/26 16:31
22F：→ FunkyMajik: 最近正夯的TPS，其中一个很重要的题目就是3D的CDI，在 05/26 16:31
23F：→ FunkyMajik: 建构3D影像那部分的演算法其实跟tomography也是大同小 05/26 16:31
24F：→ FunkyMajik: 异。总的来说，除了atom probe机制不太一样之外，所 05/26 16:31
25F：→ FunkyMajik: 有这方面的影像重建演算法，大概都可以算是Fourier光 05/26 16:31
26F：→ FunkyMajik: 学的进阶应用吧 05/26 16:31
27F：→ freef1y3: 这应该只是先建point cloud再re-mash 05/26 17:14
28F：→ freef1y3: 两张照片找出相同的点，根据照片中的位置反推出 05/26 17:14
29F：→ freef1y3: 点在空间的位置，等找出一堆点後再重建点与点的连线 05/26 17:15
30F：→ freef1y3: 应该不需要什麽很贵的器材 05/26 17:16
31F：→ freef1y3: 不过我也不是很懂，猜的 05/26 17:17
32F：推 doom8199: 这跟 CT真的一点关系也没有XD, CT 是先用 X-ray拿到被 05/26 17:58
33F：→ doom8199: 扫描物各个角度的 depth，再回推某一横切面的几何构造 05/26 17:58
34F：→ doom8199: 藉此看身体内部是否发生异常，重点在 "内部构造" 05/26 17:58
35F：→ doom8199: 重建 3D"表面"模型又没甚麽帮助 05/26 17:58
36F：→ doom8199: 这里的 3D reconstruction, 只要一台相机 + CV 的相关 05/26 17:59
37F：→ doom8199: 知识就可以做了，根本不需要几百万、几亿的机器 05/26 18:00
38F：→ protien: 其实重建的演算法是类似的 只是光源不一样 05/26 20:58
39F：→ protien: 演算法的部分单然不需要很高级的仪器就能做了 05/26 20:59
40F：→ protien: 只需要记忆体要很大的电脑能够处理 05/26 21:00
41F：→ protien: 影片上用的是可见光 所以只需要处理吸收跟反射的光讯号 05/26 21:03
42F：→ protien: 当你用到x-ray或者高能电子束 就能重建内部结构 05/26 21:06
43F：推 FunkyMajik: 同楼上，只是光源不同而已，演算法根本没啥差别。用可 05/26 22:36
44F：→ FunkyMajik: 见光照不透明物体就是只有表面，用X光或电显就会有内 05/26 22:37
45F：→ FunkyMajik: 部资讯，但表面资讯一样存在。如果这就算完全不同， 05/26 22:37
46F：→ FunkyMajik: 那XRD跟LEED也是完全不同的技术了XD 05/26 22:37
47F：推 FunkyMajik: 以前电脑计算速度、记忆体都不够，CT实际作法的确如d 05/26 22:46
48F：→ FunkyMajik: 大所说，但CT这个方法，理论上，比方照大脑，是要重 05/26 22:46
49F：→ FunkyMajik: 建整个大脑由内而外的3D影像，一览无遗。 05/26 22:46
50F：推 aada: 我觉得这还用不到傅光吧 05/27 00:36
51F：→ aada: 简单的三角定位法应该就能解了,原理跟CT不一样 05/27 00:37
52F：→ Entropy1988: 这个就算把光的相位资讯都丢掉也可以做吧？你如果很 05/27 11:53
53F：→ Entropy1988: 闲的话甚至可以人工的把脸的表面重建出来。 05/27 11:53
54F：→ Entropy1988: 所以这就已经和那些要依赖相位资讯的技术有所分别了 05/27 11:54
55F：→ doom8199: 可以先去了解 "image based" 3d rec. 的常见作法与困难 05/28 01:32
56F：→ doom8199: 再来脑补好吗? 已经说了两者做法完全不一样，我没有特 05/28 01:33
57F：→ doom8199: 别提到原po的问题, 是因为它的作法大多跟物理一点关系也 05/28 01:34
58F：→ doom8199: 没有。 例如给定两张照片，你要如何写一个程式，判断 05/28 01:35
59F：→ doom8199: A照片的眼睛、嘴巴某个 pixel，对应到B照片的某点 05/28 01:36
60F：→ doom8199: 里头要考虑到 feature extraction、edge、occlusion 等 05/28 01:38
61F：→ doom8199: 这还仅仅只是为了找对应点。做之前还得先处理 camera 05/28 01:39
62F：→ doom8199: calibration； 而 CT 资料那麽充足，只是利用 freq. 05/28 01:41
63F：→ doom8199: domain 搭配 IIR filter 来做资料的投影与影像强化 05/28 01:41
64F：→ doom8199: 作法比起来简单许多，核心演算法哪里差不多? 05/28 01:44
65F：推 FunkyMajik: 你确定你真的明白tomography是什麽吗 05/28 20:06
67F：→ protien: 基本上d大 提到的运算 tomography重建时应该都会处理到 05/28 21:38
68F：→ protien: 而且取影像的方法是多角度上的projection 05/28 21:40
69F：→ protien: 所以可以当作是利用相机直接取影像 05/28 21:40
70F：→ wohtp: 虽然最核心的topography做法是一样的，但是楼上几位可能忽 05/29 01:05
71F：→ wohtp: 略了d大说的难关。 05/29 01:06
72F：→ wohtp: CT scan之类的技术是你一颗头放在那里不动，sensor给你360 05/29 01:07
73F：→ wohtp: 拍一圈。因为仪器都是微调好的，所以每一张数位影像的哪个 05/29 01:08
74F：→ wohtp: pixel是3d空间哪条线的投影我们都已经事先知道了。 05/29 01:09
75F：→ wohtp: 但是影片里面的技术看来是你随手拿个摄影机拍一圈 05/29 01:10
76F：→ wohtp: 所以连摄影机镜头的轨迹都必须要从影片里面算出来。这跟 05/29 01:12
77F：→ wohtp: 直接拿已知轨迹来重建3D模型是不同的问题 05/29 01:13
78F：推 FunkyMajik: 楼上你说的这个是属於个别技术细节。像EM tomography 05/29 14:04
79F：→ FunkyMajik: 我们说它是跟CT类似的技术，但技术细节也会有很大差 05/29 14:05
80F：→ FunkyMajik: 异阿，EM中是电子束(光源)固定不动，旋转样品然後收散 05/29 14:06
81F：→ FunkyMajik: 射电子讯号。乍听之下好像轨迹你都可以清楚知道，但EM 05/29 14:08
82F：→ FunkyMajik: 中样品会飘移，样品旋转时也不一定完全在轴心上，你可 05/29 14:09
83F：→ FunkyMajik: 能觉得那不过是微米甚至奈米级的差距可忽略，但是EM 05/29 14:10
84F：→ FunkyMajik: tomography要重建的目标是atomic scale的，那几十奈米 05/29 14:12
85F：→ FunkyMajik: 的差距，就远比随手绕一圈拍照要校正的东西更多。 05/29 14:14
86F：→ doom8199: 到底要我说几次, "这不是 tomography" x N 05/30 12:55
87F：→ doom8199: 因为很重要得说N次。 若你您想脑补任何的3d重建技术都跟 05/30 12:56
88F：→ doom8199: CT类似这我管不着，但麻烦不要让其他版友有类似的错误 05/30 12:57
89F：→ doom8199: 认知好吗? 光就产生 depth map 而言，你只要给我 x-ray 05/30 12:58
90F：→ doom8199: 扫描後的数据，我马上就能用 matlab 写出来 05/30 12:58
91F：→ doom8199: 可是光从 color images 要做 depth estimation 05/30 12:59
92F：→ doom8199: 要做的事情远比 CT 还要来的多,而且效果不佳&不够robust 05/30 13:00
93F：→ doom8199: 所以我推文一开始就说，需要搭配主动式扫描器(如kinect) 05/30 13:01
94F：→ doom8199: 才有机会把这东西做好 05/30 13:02
95F：→ doom8199: 然後也麻烦去"实作" multiple view 3d reconstruction 05/30 13:07
96F：→ doom8199: 不要总是用物理看世界，不去实作or了解却一直 CT来CT去 05/30 13:10
97F：推 aada: d大息怒~ 05/30 23:35
98F：推 b99605015: 题外话，holography可以重建3d image，但跟这无关 06/02 08:13