作者KimomiKai (时雨大天使)
看板iOS
标题[讨论] WWDC21与iPad Pro M1的故事中段
时间Sat Jun 19 00:57:49 2021
一样哈噜镇楼先。
https://i.imgur.com/EsteLQN.jpg
前情提要:
[讨论] M1 iPad Pro讲的故事前半段
https://webptt.com/cn.aspx?n=bbs/iOS/M.1621091454.A.576.html
[讨论] 6/7 WWDC21节录
https://webptt.com/cn.aspx?n=bbs/iOS/M.1623110705.A.7F3.html
========
这次接续次一篇讲的前半段,结合WWDC21发表的开发者应用技术做结合。
(可以参考节录最末段Susan出来讲API那边)
首先是『Object Capture』。
大体是利用多个2D图片叠加拟合3D物件所需要的深度资讯,而这个API最主要投入於AR应
用开发。
那为什麽要着重於AR应用的开发?
时间需要回朔到2014~2017这段期间。
-2014 Google Tango
2014年2月透过手机上的『双镜头』来获取物件所需要的深度资讯,但是Android手机镜头
百家争鸣,没有一个统一的规格以至於Google没办法很好的掌握好阵营内的各个硬体设备
,最终相关研究成果大部分转化成後来的ARCore基础应用。
-2017 Google ARCore
吸取前一次的教训,Google转而利用手机上配置的『单镜头』,通过不断对同一场景进行
关键点获取来重建深度资讯,这动作就是Structure from Motion(运动结构重组)
但这样退而求其次的技术也面临一个重大问题,那就是要进行重组必定要先进行一段镜头
环绕物体的动作,不可能达到打开镜头立刻获取资讯,必定有时间成本放在这一块上。
此外利用这个方式查找深度资讯所占用的手机资源非常大,手机端要运算经常性的让手机
发烫,电量也通常无法维持很好的续航。
-2017 Apple ARKit
在2020年前,苹果的确和Google一样使用『单镜头』进行同样的动作。
差别在於,苹果iPhone镜头的硬体参数以及手机的空间位移差等资讯,苹果自家最清楚,
可能造成的误差范围都有纳进去算法内做校正。不过硬体配合的掌握只是让苹果在当年的
技术领先一小部分。
-2020 Apple LiDAR镜头
Light Detection and Ranging。
光学雷达的应用直接利用感测元来获取深度资讯,简单又粗暴。
同一时间Android阵营也有很多手机有配备ToF镜头,但是Google要推,但下游厂商不领情
也没什麽用,各家镜头参数不一千奇百怪,只有Google自己着急算法导致大家都只玩自己
的很难配合。
你可能会说这跟Object Capture又有什麽关联了?
不是,正因为前面有技术的积累发展,导致WWDC21苹果直接宣布往後要面向『XR技术』近
一步发展。
========
什麽是『XR』?
Extended Reality延展实境,有区别於虚拟实境VR、扩增实境AR、混合实境MR,XR是结合
虚、实以及人体与设备实时互动的技术,XR可应用范围极为广泛,各项产业肯定都沾得上
边,举凡道路、广告、教育、行销、餐饮等只要你想得到的地方都可以用。
XR技术最早可以追朔到1962年的电影制作人Morton Heilig发明的Sensorama(有兴趣可以
自行查找资料),其形式类似於现今电影院内的4DX电影座椅,其包括座椅、气味,双镜
片全息虚拟装置,但由於早期的应用只能『看』不能『摸』,可谓一点互动能力都没有。
来到1968年MIT的计算机科学家Ivan Edward Sutherland所发表的『达摩克里斯之剑』
(
https://www.youtube.com/watch?v=Hp7YgZAHLos)
笨重的设备在实验室沈寂许久,直到後来的Oculus Rift消费及产品(还有HTC VIVE)等V
R产品上市,XR技术也多少被抬升上来。
虽然2016年间大抵还是流行VR设备(我的VIVE也顶多拿来玩Beat Saber、VR Kanojo),P
S VR更是简单,完全只靠PlayStation Camera然後和VR头盔建立距离资讯(虽然我只拿来
玩夏日课程)有在玩Just Dance一定会觉得XBOX上用Kinect一定比PS好很多。
不过随即而来的是2017的挖矿潮,能做复杂运算的显卡皆无法用原价购买(跟现在一样QQ
),此外VR多发展在娱乐游戏方面,在日常生活工具方面没有任何技术发展,这就导致XR
技术发展非常困难。
========
由於篇幅有点长,後面还要讲『Universal Control』才是把标题完全讲清,假日再补上
下半段。
那WWDC21推这技术的意义是什麽?跟後面要讲的Universal Control又有什麽关联?
如果你没有错过阿婆近期的“供应商消息”至少你会听说过阿婆要推Apple Glass。
那这两大技术的发布是不是又确立了几个事实,这留给你们自己想想。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.237.176.92 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/iOS/M.1624035471.A.05E.html
1F:推 ilovewhere: 安安,哈噜开店推 06/19 01:54
2F:→ sableangle: 其实tango主要是用不可见光+红外线摄影机来认识场景的 06/19 02:20
3F:→ sableangle: ,原理上比较接近Kinect,FaceID,LiDAR,拥有真实的环 06/19 02:20
4F:→ sableangle: 境深度资讯;难以普及是2014年代整个模组不容易做到手 06/19 02:20
5F:→ sableangle: 机大小,tango的工程机大概跟switch差不多大,当然And 06/19 02:20
6F:→ sableangle: roid的破碎话也是个很大的因素,而ARCore,ARKit单镜头 06/19 02:20
7F:→ sableangle: 的实作则是以外航位推算法为主,然後用镜头影像的变化 06/19 02:20
8F:→ sableangle: 矫正误差累积 06/19 02:20
9F:→ sableangle: ARCore,ARKit在只处理运动姿态的应用中其实是不需要扫 06/19 02:24
10F:→ sableangle: 描识别环境的,只靠IMU就能够还原大部分的手机运动 06/19 02:24
11F:推 chocy0909: 推推! 06/19 12:55