Meta元宇宙中专利系列介绍（五）：人工实境之前馈防撞专利 https://bit.ly/3BGQsn1 早期玩家戴着VR眼镜或头戴式装置，眼前所见都是虚拟世界的虚拟影像，等於与现实世界 中的实体物件完全隔绝，因此玩家在有限的空间中，例如客厅或房间，在挥舞四肢或自由 移动身躯时，难免会碰撞到实体的桌子、墙壁、茶几等物体而受伤，这大大影响了沈浸感 。 有监於此，Meta於2019年12月申请「用於人工实境环境的前馈防止碰撞」(Feed-forward collision avoidance for artificial reality environments)专利，并在2021年12月获 准案号为US11,195,320B2之美国专利（以下称本专利）。本专利主要揭露一种人工实境系 统(artificial reality system)，包含一头戴式显示器（head-mounted display, HMD） 、摄像装置、实体影像重合引擎(physical overlay engine)，以及渲染引擎（ rendering engine，这里所谓的「引擎」，是代表一种用软体方式去收集数据并予以分析 的演算法）。 请参考图一，本专利技术特徵在於，实体影像重合引擎系用以判断实体物件（如图中标号 144的沙发），并收集其对应产生的实体影像数据，而渲染引擎系用以根据HMD所输出的人 工实境内容（如图中标号122所示），及其对应产生的虚拟渲染数据。透过实体影像数据 与渲染影像数据的叠合，让实体的沙发在人工实境内容中呈现半透明；换言之，人工实境 内容中也可以弱化虚拟世界中的盔甲武士、树、宝藏等影像清晰度，而换取更具体且清楚 的沙发影像轮廓。 https://imgur.com/uLDtRld 图二为图一HMD（标号112）的一种实施例，其包含显示器（标号203）、移动感测器（标 号206）、内部控制单元（标号210），以及影像捕捉元件（标号138A、138B），其中本专 利所谓的移动感测器，可计算当下HMD加速度的加速计（又被称为惯性量测单元，IMU）、 判断当下HMD位置的GPS感测器、判断当下相对於HMD之实体环境中，不同物件之对应距离 与方位的雷达或声纳感测器，内部控制单元可包含电源与具有印刷电路板上的处理器、记 忆体与各种硬体电子元件；影像捕捉元件是用来捕捉在视角范围内（标号130A与130B之间 ）的实体物件之影像数据。另外，手持装置（标号114）上设有一实体按钮或虚拟按钮（ 标号142），一旦使用者按下该按钮，手持装置就会透过无线讯号和HMD进行沟通，即可如 前所述，实体影像数据与渲染影像数据的叠合而让实体的沙发在人工实境内容中呈现半透 明。当然，前述中的按钮也可以是其他操控形式，例如语音命令、手势或其他各种形式的 输入。 https://imgur.com/CAGCdPl 本专利中提到，传统的人工实境系统所呈现的内容，不一定会与实体世界中的物件尺寸完 全一致，正因如此，当使用者在实体空间中移动时，由於使用者已沈浸在虚拟的人工实境 内容中，所以无法准确地在实体空间中移动躲避其中的障碍物，以至於可能发生碰撞；抑 或是，为了躲避实体世界中的障碍物，使用者需无时无刻留意周围实体环境是否有障碍物 ，造成难以有良好之沈浸式体验。 传统的人工实境系统在技术上的最大缺点，在於HMD无法提供任何相对於使用者所在实体 空间之相对位置的资讯。举例来说，当使用者头戴传统的HMD时，其所看到的虚拟世界的 影像，完全覆盖实体世界的物体，也就是说，当使用者大幅移动或摆动身体时，可能就与 实体世界中的物体发生碰撞；因此，使用者就被迫卸下HMD，以观察自己当下所在位置是 否可能有障碍物，Meta认为这些缺点都大大地中断沈浸式之体验，不该在未来的元宇宙中 发生。 然而，本专利系透过HMD上的摄像装置（例如相机镜头），与手持装置之间的参考坐标系 (frame of reference)中随时随地不断计算该两者间的相对位置，进而对应地将该相对位 置在人工实境内容中产生，并且当渲染引擎侦测到人工实境内容中所渲染的图像覆盖到实 体物件（例如沙发144）时，实体影像重合引擎就会自动让实体物件呈现半透明状态，以 提醒使用者避免与实体环境中的物体碰撞，如此能让使用者在虚拟世界中有更好的沈浸式 体验。 同样地，请再参考图二，若HMD的视角侦测到实体空间中存在壁炉、电视和沙发，那麽透 过实体影像重合引擎，就会自动让这些物体在人工实境内容中呈现半透明状态（如图二中 虚线之图绘）。 https://imgur.com/wWpdCqe 此外，使用者戴上HMD後，可决定是否要按下手持装置上的按钮，以开启一启动条件 (activation condition)产生重合影像数据(overlay image data)。一旦选择启动，实体 影像重合引擎与渲染引擎，就会开始侦测前述两者的影像数据是否叠合。请再参考图三， 其系为实体环境中的一虚拟边界（如图三中的粗黑线902所绘示）。当启动条件被开启时 ，该虚拟边界也对应产生。该虚拟边界的作用在於，当使用者一旦接近或跨过该虚拟边界 时，HMD就会对使用者显示出警告；更甚者，若使用者更进一步地靠近实体世界的物件时 ，实体影像重合引擎就会自动让实体物件呈现半透明状态，以提醒使用者避免与实体环境 中的物体发生碰撞。 https://imgur.com/nhyFe3U Meta的这件发明专利，也许会让沈浸在虚拟世界的玩家，回忆起2016年2月宏达电在国际 消费性电子展（俗称CES）上发表的HTC Vive，而旗下的Vive Pre开发者版本中的其中一 项亮点，就是Chaperone安全系统，该系统中有一项设定，可供使用者决定是否要显示地 板边界的安全设定，如图五中的「Always show floor bounds」所示，其目的就是为了当 玩家靠近障碍物时，会显示出蓝色的网格墙（如图六所示），以提醒玩家小心实体环境中 的物体以免发生碰撞。 https://imgur.com/BwjZU1m https://imgur.com/SLIoVyY 就HTC Vive Pre保护使用者免於实体环境中与物体发生碰撞的技术，Meta之本专利所揭露 的技术似乎与其相似，但由於本专利申请日是在2019年12月，而HTC Vive Pre在2016年2 月就已公开发表，本专利申请日似落後於HTC所发表的Chaperone安全系统之後，这对於 Meta在争夺未来元宇宙的地盘时或有其他变数，日後两家公司在元宇宙的发展，大家且拭 目以待。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Patent/M.1659512584.A.44C.html