Meta元宇宙中专利系列介绍（四）：基於雷达之人工实境追踪装置专利 https://bit.ly/3yQEDYk Meta为打造其元宇宙(Metaverse)，开发新技术与各式感应设备，优化各类沉浸式头戴式 装置、创造逼真的头像化身、机器人皮肤，到抓紧人类视觉/听觉/触觉之深度探究，去追 踪监测玩家眼球视线、面部表情、头部运动、手势、身体姿态等一举一动，蒐集这些人体 生物特徵资料，然後产生出与虚拟对象互动之回馈系统，让玩家能充分沉浸在数位世界中 的虚拟影像与场景环境，而为实现这一目标其已申请一系列的专利。 Meta於2020年9月获准美国专利「基於雷达之人工实境追踪装置、系统和方法」 (Devices, Systems and Methods for Radar-based Artificial Reality Tracking)，其 专利案号US 10,782,782，申请日为2019年7月18日，核准日为2020年9月22日（以下称本 专利），本专利的代表图如图一所示，揭露一种人工实境追踪系统，其包含头戴式装置（ 图中标号520）以及固定在手套上的多个转发器（transponder图一标号506、508、510、 512与514），其中使用者穿上头戴式装置後，可看到虚拟实境内容的呈现，并与之互动。 https://imgur.com/TKmERdd 本专利的技术特徵在於，透过头戴式装置上的雷达元件（图中标号516、518），与多个转 发器彼此间的无线电波调频（frequency-modulated）[1] 讯号来回传递之距离，可追踪 该使用者身体在实体环境中的各部位，并透过头戴式装置内中的处理器，计算出该使用者 身体的各部位之相对位置与运动的相对速度，然後再根据所计算出当下的相对位置与相对 速度，立刻对应地投射到头戴式装置的虚拟实境内容中，而这所有的发生过程都在极短时 间内完成。 根据本专利的内容，可尝试用一种较浅显易懂的方式，来重新诠释艰涩的专利说明书。举 例来说，当使用者在实体环境中向右摆动自己的头，同时右手由後向前用力一挥，做出如 网球运动员般的杀球动作，在做这一连串动作的极短时间内，转发器立即回传讯号至雷达 元件，告知头戴式装置内的处理器後，立即将使用者身体的各部位，在实体环境中运动的 相对位置和相对速度，投影在虚拟实境内容，而虚拟实境内容中的虚拟化身，也立即展现 杀球的姿势。此外，在这种发明概念下，手套上的转发器也可固定在其他形式如发箍、腰 带、手表、腕带等物体上，以便将转发器上的反射讯号传递至雷达元件，进而即时计算出 实体环境中使用者的整体姿势为何。 更有趣的是，本专利还提到透过头戴式装置所投影出的影像，当使用者去触摸该影像时， 使用者会产生一种手持物体的感知。而这样的感知是透过手套上的触觉装置（haptic device如下图二的标号1304）内的机械感测器、压电感测器，或是流体感测器等感测元件 ，而可精准地捕捉手腕、肌腱等肌肉活动，以便追踪身体的姿势与感知，让使用者置身在 VR环境中，犹如现实世界般拟真的沈浸式体验。 https://imgur.com/RVwEFd5 值得一提的是，关於前述提到的手套，其细部结构可参考图三，包含触觉装置（标号1210 与1220）、纺织材料（标号1230）、振动触觉元件（标号1240）、电源（标号1250）、处 理器（标号1260），以及通讯介面（标号1280），其中触觉装置被嵌入至手套内，用以捕 捉手腕、肌腱等肌肉活动；纺织材料具有弹性，可用以包覆手和手腕；振动触觉元件被设 置在纺织材料内，并且被用以定位在使用者的手指、拇指和手腕上，以对使用者提供触觉 反馈，而这样的触觉反馈，可包含动态地捕捉使用者的手指弯曲状态；电源是用以提供振 动触觉元件与处理器之电力，以启动振动触觉元件的运作；处理器系接受电源的启动後将 透过程式化控制所有的振动触觉元件的运作；通讯介面则用以接收来自处理器的讯号，并 且输出其对应的讯号，而可电性耦合到手套外的某一种装置或系统（标号1270），例如： 行动装置、游戏工作台（gaming console）、VR、AR、MR、个人电脑、平板电脑或路由器 之类的装置或系统。 https://imgur.com/Jq8HGA0 至於本专利中的另一个重点，如图四，其系一种代表可穿戴式装置的AR系统示意图。此AR 系统包含框架（标号902）、摄像机（标号904）、输出音讯转换器（audio transducer， 标号908(A)与908(B)），以及输入音讯转换器（标号910），其中摄像机用以收集真实环 境中的资讯，输入音讯转换器用以捕捉真实环境的声音，而输出音讯转换器根据输入音讯 转换器所捕捉到的声音，而可转换成音讯回馈/内容至使用者。 https://imgur.com/pb7Zv22 简言之，本专利的特点，就是透过一可追踪使用者头部运动之人工实境的头戴式装置，具 有内嵌多个转发器的手套，以及头带可追踪使用者的头部运动，并捕捉环境中声音之音频 转换器。此外，本专利透过雷达侦测到手套上所有的转发器，而该转发器还可精准地捕捉 手腕、肌腱等肌肉之活动，以追踪身体姿势并蒐集身体反应之生物数据。特别值得一提的 ，这个专利申请，总共只花了一年多一点的时间就被核准，表示其技术内涵的确具有相当 高之含金量，因此才能在相对短的时间取得。 从本专利可大略一窥Meta对於未来产品的走向，企图想在虚拟世界中打造一种与现实世界 一模一样的触觉感知，好让使用者戴上手套後，不论是进入AR、VR或是MR等虚拟世界，透 过手指或手掌去触摸虚拟世界的一个虚拟物体时，使用者彷佛如真实世界碰触真实物体一 般，手套上的触觉装置会突然产生一种阻力感，让现实中的使用者发生一种触碰感或按压 感等方面之感知。 虚拟世界中的触觉感知科技其实才刚起步，也许对某些「一级玩家」而言，已等不及想要 体验这种神奇的感受，但可能对另外一群「一级玩家」来说，要戴上布满上百个电子元 件 [2] 这麽厚重闷热的手套来进行游戏，是否真的能达到完美的沈浸式体验？这可能还 需要观察市场的接受度才知道。 在「五感」之中，即听觉、视觉、触觉、嗅觉以及味觉，目前，听觉应该算是相对成熟的 技术，即便在虚拟世界要听3D立体环绕音效，让使用者有空间感、方向感也不是难事；视 觉在虚拟世界的进展目前算是尚可，但要达到3D全像影像（holography）[3] 却还有很长 一段路要走；触觉正值起步阶段；至於嗅觉与味觉现今来看就更是遥不可及了。 倘若要在元宇宙达到如真正实体世界的感受，让使用者能够达到近乎100%的沈浸式体验， 势必需要完美整合多种的感知。我们试着想像，当未来电影院不再流行时下的2D或3D电影 时，取而代之的是观众买了一张「侏罗纪公园」的电影票进入戏院後，观众就彷佛置身在 1.4亿年前的侏罗纪时代，完美体验恐龙的嘶吼声（听觉）、巨大貌（视觉）、厚实感（ 触觉）、掠食者气味（嗅觉）等多重感知，营造一种穿越时空之气氛。不过，要达到这样 的元宇宙，势必还有一段很长的路要走，而其中产业的背後，最不可或缺的可能还是半导 体技术与高算力的处理器。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1658132022.A.9EC.html