Meta元宇宙中专利系列介绍（三）： 人类瞳孔转向搭配HMD/NED整合AR/VR专利 https://bit.ly/3unFb6L 从过去十年以来，AR（扩增实境）头戴式显示器(HMD: head-mounted display)之应用愈 来愈多，已渐成为现代生活的重要设备，由於小型化显示器、相机和感应器的进步，在显 示虚拟影像的同时保持透视能力，可将AR头戴式显示器、瞳孔追踪器(pupil trackers)、 空间光调制器(spatial-light-modulators)、电脑产生之全像(holography)、与HMD整合 成自适应性之光学(adaptive optics)，为视觉模拟提供了强大的技术，现已被广泛用於 从游戏、驾驶辅助到医疗培训等多种用途，因此AR大幅促进了使用者、数位内容和现实/ 虚拟世界之间的互动。 而社群网络巨擘Meta当然也体认及此，并将其延伸至元宇宙中。而元宇宙本质上就是虚拟 世界，因此Meta拟於其中制作逼真的头像分身，收集各项人体生物特徵资料，并计划透过 客制化的技术以追踪使用者脸部的一举一动来实现其目标，其中一种方式就是根据眼睛注 视的方向和瞳孔活动，来判断使用者可能隐含之兴趣并掌握情绪状态之资讯。例如，眼睛 流连在某张图片上即可能表明其喜好，Meta於是按图索骥开发这些用於追踪眼睛方面应用 之技术，如在头戴式耳机中透过微型摄像头或感应器，来收集眼球的运动，以回馈提供使 用者增强其在VR或AR上更沉浸式之体验。 虚拟实境需要从使用者收集精确的数据，以制作出完全沉浸式之体验。眼动追踪技术对沉 浸感和与虚拟环境之互动至关重要，如果感知之资讯输入不准确，它可能会让使用者迷失 方向，或让使用者感到恶心。Meta近年来为用於跟踪眼睛运动、监测使用者之眼球等创新 应用技术，已申请一系列的相关专利。以下仅选取二件相关专利，一窥Meta对未来元宇宙 的想像。 Meta於2018年12月申请「用於瞳孔转向之整合扩增实境头戴式显示器」(Integrated Augmented Reality Head-Mounted Display for Pupil Steering)专利，并在2021年9月 获准案号为US11,112,613之美国专利（以下称’613专利），请参考以下图一。在’613专 利的摘要中，描述一种提供AR内容的头戴式显示装置（标号400），包括眼动仪(eye tracker标号408)、投光器(light projector标号402)、光束转向器(beam steerer标号 404)和组合器(combiner标号410)。眼动仪用来确认佩戴者眼睛的瞳孔位置，投光器用来 投射光线并渲染图像的光，光束转向器根据瞳孔的位置改变投光器之光线的来向，组合器 则用来结合来自投光器的光线（标号414-1），以及来自头戴式显示装置外部的一部分光 线（标号416）透射组合器後，将两者不同的光线进行叠加，便可渲染图像并投影至眼睛 内。 https://imgur.com/a/kepE8L3 请再参考以下图二，头戴式显示装置中的眼动仪，被用来判断并追踪瞳孔的位置（如标号 418-1的箭头方向所示）。更进一步来说，眼动仪可透过追踪瞳孔内的影像、闪光侦测、 视网膜反射或是瞳孔表面的轮廓量测，以判断眼球的位置。 Meta所提出的’613专利之优点究竟为何？传统的头戴式显示装置，在投影影像映入使用 者的眼球时，为了提供使用者在所有的注视方向能有更宽广的视野，所投影出的影像就必 须涵盖在使用者眼睛周围的大区域上。然而，在大区域上所投射出的影像会导致影像的亮 度降低，而为了补偿降低的亮度，通常需要高强度的光源，惟高强度的光源装置不仅占据 大部分的头戴式显示装置的空间，而且还具有高功耗等缺点。相对於传统的头戴式显示装 置，’613专利可透过眼动仪追踪瞳孔，并将影像朝向瞳孔进行投影，如此一来就可减少 影像的投影区域，进而消除高强度光源的需求。 https://imgur.com/Mid0F1W 此外，再参考以下图三，是’613专利针对眼动仪的功能更进一步地揭露，眼动仪内设有 一或多个深度感测器，而这些深度感测器系用来测量深度感测器与眼睛间的距离，例如标 号1116-1、1116-2、1116-3分别代表不同的距离，透过这些微小的距离，可建构出眼睛的 表面轮廓。更甚者，眼动仪内的深度感测器可以对眼睛做深度扫描，计算出眼睛的表面轮 廓，并进而判断出眼睛注视哪一个方向。举例来说，若深度感测器测量出距离大於某一个 参考距离时，就表示眼睛正往下看；反之，若测量出距离小於某一个参考距离时，就表示 眼睛正往上看。简言之，透过眼动仪内部的深度感测器与眼睛之间的距离，可藉此判断出 使用者眼睛当下正注视哪一个方向。 https://imgur.com/ZJn1Z48 另一件关於Meta之追踪眼球的专利，系於2018年10月申请「瞳孔转向头戴式显示器」 (Pupil Steering Head-Mounted Display)发明专利，并在2020年7月获准案号为 US10,712,576B1之美国专利（以下称’576专利）。请参考图四，其系为’576专利中的 NED近眼显示装置(near-eye display)的外观示意图，近眼显示装置可用来操控AR、VR或 MR。此外，显示元件（标号210）可为LCD显示面板、LED显示面板，或其他光学显示面板 （如光波导组合而成的面板）。近眼显示装置还包括高解析度的摄影机（标号240），用 以捕捉现实世界中物体的影像，并经过处理器处理後的影像，可和虚拟物件一起呈现在使 用者眼前。 https://imgur.com/UvcujKP ’576专利明确指出，对於人工实境系统的使用者体验，可取决於以下几个光学特性：视 野(field of view, FOV)、影像品质、眼动范围(eye box)大小、影像显示之亮度等。一 般而言，FOV和眼动范围应尽可能的大，影像品质要好就是解析度应尽可能的高，影像显 示之亮度也要足够明亮（尤其是光学透视AR系统），针对’576专利所揭露的技术来看， 其欲解决的问题正是眼动范围。 所谓的眼动范围，是指近眼显示系统与眼球之间，有一块成像最清晰的锥型区域，若使用 者的眼球超出该区域，则可能会看到影像扭曲、色彩失真，甚至无法显示内容的问题。举 例来说，有一种平视显示器(heads-up display, HUD)应用在飞机驾驶的挡风玻璃上，透 过仪表板的反射作用至挡风玻璃上，可显示飞行高度、瞬时速率、倾斜角度、经纬度位置 、油料等资讯，因此驾驶只需要平视眼前的飞行状况即可，而不用低头看相关飞行资讯。 然而，驾驶的视线一旦转移过大，则挡风玻璃上的资讯就会部分消失或全部不见。所以， 眼动范围越大，驾驶就可更灵活地移动，但是代价就是可能会导致系统更大、更重、更昂 贵且效能更低。在’576专利中也有强调传统的近眼显示系统，若要增加人工实境系统的 眼动范围，也将发生前述所提及的缺点，进而有损沈浸式的体验。 因此，’576专利为改善以上的缺点，特别提出此种近眼显示系统，如图五所示，其包含 几个主要光学元件：影像来源（标号1010）、透镜（标号1020、1040）、偏光镜（标号 1030、1050）以及组合器（标号1060）。影像来源可为LCD显示面板、LED显示面板、干涉 光源或是空间光调变元件等发光体，而影像来源结合透镜（标号1020）可形成一种投影装 置以便输出影像，并且依序经过（如图中粗黑实线之光学路径）偏光镜（标号1030）、透 镜（标号1040）、偏光镜（标号1050）、组合器（标号1060）後，影像最後经由出光瞳孔 （exit pupil标号1070）而映入使用者的眼睛（其位置位在标号1120处）。特别值得一提 的是，以上所有的偏光镜是采用微机电(MEMS)技术予以微缩，故近眼显示系统得以做到短 小轻薄。 本发明技术特色在於，当使用者的眼睛位在标号1120’处时，控制器就会自动地将偏光镜 （标号1030）旋转某个角度，使得输出影像可沿着粗黑虚线而抵达使用者的眼睛（其位置 位在标号1120’处）。如此一来，透过追踪使用者的眼睛位置而自动调整输出影像的光学 路径，不仅可解决眼动范围过小的问题，而且也不需要笨重的光学系统，针对眼动范围过 小去作任何的补偿。(2710字；图1) https://imgur.com/N0tVzkC --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Patent/M.1657091608.A.05C.html