Meta元宇宙中專利系列介紹（四）：基於雷達之人工實境追蹤裝置專利 https://bit.ly/3yQEDYk Meta為打造其元宇宙(Metaverse)，開發新技術與各式感應設備，優化各類沉浸式頭戴式 裝置、創造逼真的頭像化身、機器人皮膚，到抓緊人類視覺/聽覺/觸覺之深度探究，去追 蹤監測玩家眼球視線、面部表情、頭部運動、手勢、身體姿態等一舉一動，蒐集這些人體 生物特徵資料，然後產生出與虛擬對象互動之回饋系統，讓玩家能充分沉浸在數位世界中 的虛擬影像與場景環境，而為實現這一目標其已申請一系列的專利。 Meta於2020年9月獲准美國專利「基於雷達之人工實境追蹤裝置、系統和方法」 (Devices, Systems and Methods for Radar-based Artificial Reality Tracking)，其 專利案號US 10,782,782，申請日為2019年7月18日，核准日為2020年9月22日（以下稱本 專利），本專利的代表圖如圖一所示，揭露一種人工實境追蹤系統，其包含頭戴式裝置（ 圖中標號520）以及固定在手套上的多個轉發器（transponder圖一標號506、508、510、 512與514），其中使用者穿上頭戴式裝置後，可看到虛擬實境內容的呈現，並與之互動。 https://imgur.com/TKmERdd 本專利的技術特徵在於，透過頭戴式裝置上的雷達元件（圖中標號516、518），與多個轉 發器彼此間的無線電波調頻（frequency-modulated）[1] 訊號來回傳遞之距離，可追蹤 該使用者身體在實體環境中的各部位，並透過頭戴式裝置內中的處理器，計算出該使用者 身體的各部位之相對位置與運動的相對速度，然後再根據所計算出當下的相對位置與相對 速度，立刻對應地投射到頭戴式裝置的虛擬實境內容中，而這所有的發生過程都在極短時 間內完成。 根據本專利的內容，可嘗試用一種較淺顯易懂的方式，來重新詮釋艱澀的專利說明書。舉 例來說，當使用者在實體環境中向右擺動自己的頭，同時右手由後向前用力一揮，做出如 網球運動員般的殺球動作，在做這一連串動作的極短時間內，轉發器立即回傳訊號至雷達 元件，告知頭戴式裝置內的處理器後，立即將使用者身體的各部位，在實體環境中運動的 相對位置和相對速度，投影在虛擬實境內容，而虛擬實境內容中的虛擬化身，也立即展現 殺球的姿勢。此外，在這種發明概念下，手套上的轉發器也可固定在其他形式如髮箍、腰 帶、手錶、腕帶等物體上，以便將轉發器上的反射訊號傳遞至雷達元件，進而即時計算出 實體環境中使用者的整體姿勢為何。 更有趣的是，本專利還提到透過頭戴式裝置所投影出的影像，當使用者去觸摸該影像時， 使用者會產生一種手持物體的感知。而這樣的感知是透過手套上的觸覺裝置（haptic device如下圖二的標號1304）內的機械感測器、壓電感測器，或是流體感測器等感測元件 ，而可精準地捕捉手腕、肌腱等肌肉活動，以便追蹤身體的姿勢與感知，讓使用者置身在 VR環境中，猶如現實世界般擬真的沈浸式體驗。 https://imgur.com/RVwEFd5 值得一提的是，關於前述提到的手套，其細部結構可參考圖三，包含觸覺裝置（標號1210 與1220）、紡織材料（標號1230）、振動觸覺元件（標號1240）、電源（標號1250）、處 理器（標號1260），以及通訊介面（標號1280），其中觸覺裝置被嵌入至手套內，用以捕 捉手腕、肌腱等肌肉活動；紡織材料具有彈性，可用以包覆手和手腕；振動觸覺元件被設 置在紡織材料內，並且被用以定位在使用者的手指、拇指和手腕上，以對使用者提供觸覺 反饋，而這樣的觸覺反饋，可包含動態地捕捉使用者的手指彎曲狀態；電源是用以提供振 動觸覺元件與處理器之電力，以啟動振動觸覺元件的運作；處理器係接受電源的啟動後將 透過程式化控制所有的振動觸覺元件的運作；通訊介面則用以接收來自處理器的訊號，並 且輸出其對應的訊號，而可電性耦合到手套外的某一種裝置或系統（標號1270），例如： 行動裝置、遊戲工作台（gaming console）、VR、AR、MR、個人電腦、平板電腦或路由器 之類的裝置或系統。 https://imgur.com/Jq8HGA0 至於本專利中的另一個重點，如圖四，其係一種代表可穿戴式裝置的AR系統示意圖。此AR 系統包含框架（標號902）、攝像機（標號904）、輸出音訊轉換器（audio transducer， 標號908(A)與908(B)），以及輸入音訊轉換器（標號910），其中攝像機用以收集真實環 境中的資訊，輸入音訊轉換器用以捕捉真實環境的聲音，而輸出音訊轉換器根據輸入音訊 轉換器所捕捉到的聲音，而可轉換成音訊回饋/內容至使用者。 https://imgur.com/pb7Zv22 簡言之，本專利的特點，就是透過一可追蹤使用者頭部運動之人工實境的頭戴式裝置，具 有內嵌多個轉發器的手套，以及頭帶可追蹤使用者的頭部運動，並捕捉環境中聲音之音頻 轉換器。此外，本專利透過雷達偵測到手套上所有的轉發器，而該轉發器還可精準地捕捉 手腕、肌腱等肌肉之活動，以追蹤身體姿勢並蒐集身體反應之生物數據。特別值得一提的 ，這個專利申請，總共只花了一年多一點的時間就被核准，表示其技術內涵的確具有相當 高之含金量，因此才能在相對短的時間取得。 從本專利可大略一窺Meta對於未來產品的走向，企圖想在虛擬世界中打造一種與現實世界 一模一樣的觸覺感知，好讓使用者戴上手套後，不論是進入AR、VR或是MR等虛擬世界，透 過手指或手掌去觸摸虛擬世界的一個虛擬物體時，使用者彷彿如真實世界碰觸真實物體一 般，手套上的觸覺裝置會突然產生一種阻力感，讓現實中的使用者發生一種觸碰感或按壓 感等方面之感知。 虛擬世界中的觸覺感知科技其實才剛起步，也許對某些「一級玩家」而言，已等不及想要 體驗這種神奇的感受，但可能對另外一群「一級玩家」來說，要戴上佈滿上百個電子元 件 [2] 這麼厚重悶熱的手套來進行遊戲，是否真的能達到完美的沈浸式體驗？這可能還 需要觀察市場的接受度才知道。 在「五感」之中，即聽覺、視覺、觸覺、嗅覺以及味覺，目前，聽覺應該算是相對成熟的 技術，即便在虛擬世界要聽3D立體環繞音效，讓使用者有空間感、方向感也不是難事；視 覺在虛擬世界的進展目前算是尚可，但要達到3D全像影像（holography）[3] 卻還有很長 一段路要走；觸覺正值起步階段；至於嗅覺與味覺現今來看就更是遙不可及了。 倘若要在元宇宙達到如真正實體世界的感受，讓使用者能夠達到近乎100%的沈浸式體驗， 勢必需要完美整合多種的感知。我們試著想像，當未來電影院不再流行時下的2D或3D電影 時，取而代之的是觀眾買了一張「侏羅紀公園」的電影票進入戲院後，觀眾就彷彿置身在 1.4億年前的侏羅紀時代，完美體驗恐龍的嘶吼聲（聽覺）、巨大貌（視覺）、厚實感（ 觸覺）、掠食者氣味（嗅覺）等多重感知，營造一種穿越時空之氣氛。不過，要達到這樣 的元宇宙，勢必還有一段很長的路要走，而其中產業的背後，最不可或缺的可能還是半導 體技術與高算力的處理器。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1658132022.A.9EC.html