作者covenant (藍悠)
看板VR
標題[閒聊] VR的眼球追蹤
時間Wed Mar 2 10:30:25 2016
http://goo.gl/afKmAQ
看到板友經常提到因為解析度的限制而產生的紗窗效應，又剛好瀏覽到這篇報導，
裡面提到目前為止VR經常需要輔以高性能規格的電腦，但是利用眼球追蹤的技術可
以將我們視線集中之處提高解析度，並將視線集中以外之處降低解析度來減低負擔
。
實際上也已經有人開始運用在虛擬實境頭戴式顯示器之上：
http://www.getfove.com/ 官網
https://goo.gl/cavv3J 中文報導
像下面的影片就是讓身障者可以透過眼球追蹤來操縱鋼琴，最後成功完成合唱的
伴奏，讓人挺感動的：
https://www.youtube.com/watch?v=--WyN7wJ5bI
爬文好像沒看到相關討論，不曉得板友有怎麼樣的想法？
--
「最後には...どうか、幸せな記憶を。」
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.167.77
※ 文章網址: https://webptt.com/m.aspx?n=bbs/VR/M.1456885834.A.6FC.html
1F：推 BOJJ: 紗窗是硬體解析度不夠 你說的這種提高或降低的解析度是能降 03/02 10:40
2F：→ BOJJ: 低顯卡的運算需求 03/02 10:40
3F：→ mrmowmow: 這樣只是紗窗開個孔 03/02 10:49
4F：→ mrmowmow: 餘光看起來還是紗窗 03/02 10:49
5F：推 ptag720: 更高解析度的螢幕做的出來，但是vive/rift沒有搭配也是電 03/02 10:50
6F：→ ptag720: 腦推不動 03/02 10:50
7F：→ ptag720: 都叫餘光你哪看的清楚 還紗窗 03/02 10:51
8F：推 ptag720: 要是透過視線追蹤來降低硬體需求，那也就能搭更高解析的 03/02 10:53
9F：→ ptag720: 螢幕了 03/02 10:53
10F：推 jyhlih: 眼球追蹤這技術如果配合視網膜掃描顯示技術應該不錯 03/02 10:56
11F：→ a7610783: 跟不上眼球變焦速度會很悲劇 03/02 11:31
12F：→ mrmowmow: 笑死了，紗窗開個孔餘光你會看不到紗窗？？別小看餘光好 03/02 14:18
13F：→ mrmowmow: 嗎 03/02 14:18
14F：推 Porops: 樓上知道眼睛是怎麼對焦的嗎....人眼本來就無法同時看清 03/02 14:27
15F：→ Porops: 處整個眼界的畫面 03/02 14:28
16F：推 ptag720: 中央凹（fovea centralis），是視網膜中視覺（辨色力、 03/02 15:20
17F：→ ptag720: 分辨力）最敏銳的區域 03/02 15:20
18F：→ ptag720: 以人為例，在視神經盤顳側約3.5mm處，有一黃色小區，稱 03/02 15:21
19F：→ ptag720: 黃斑（macula lutea），其中央的凹陷，就是中央凹 03/02 15:21
20F：→ ptag720: 黃斑中央凹陷稱中央凹，此處視網膜最薄，只有色素上皮細 03/02 15:21
21F：→ ptag720: 胞和視錐細胞兩層細胞，雙極細胞和節細胞均斜向周圍排列 03/02 15:22
22F：→ ptag720: 此處視錐細胞與雙極細胞均一對一聯繫，故視覺最為敏銳而 03/02 15:22
23F：→ ptag720: 精確，稱中心視覺。 03/02 15:22
24F：推 KD0084: 視覺系是你(X 03/02 15:52
25F：推 a7610783: 但是大陸有一款號稱追蹤眼球的，一整個就是悲劇 03/02 16:45
26F：推 HTCSense: 啪啪啪 好響亮的打臉聲 03/02 16:49
27F：推 Kamikiri: 又是你.....整天閒閒沒事在那邊亂嗆人..... 03/02 16:57
28F：→ mrmowmow: 打什麼臉別搞笑了，眼睛用中央看代表餘光看不到？如果餘 03/02 17:10
29F：→ mrmowmow: 光看不到那左右邊丟過來的飛球早就砸死一堆人，用點腦好 03/02 17:10
30F：→ mrmowmow: 嗎？生物構造沒那麼簡單，日常生活中餘光幫了你一堆忙， 03/02 17:10
31F：→ mrmowmow: 你沒察覺而已 03/02 17:10
32F：→ mrmowmow: 真是可悲，餘光看得到這件事我居然要對成人解釋 03/02 17:10
33F：推 ksm: 餘光要看到也要投入注意力... 03/02 17:14
34F：推 aria0520: mr別暴怒了 人家只是說餘光看不清楚 你自己曲解成看不到 03/02 17:20
35F：推 a7610783: 沒當過兵所以不知道什麼叫做眼角餘光看齊吧 03/02 17:20
36F：→ aria0520: 別小看餘光!(怒) 03/02 17:21
37F：推 ptag720: 喵喵先生愛到處亂嗆眾所皆知啊 03/02 17:26
38F：→ ptag720: 或是 貓貓先生.. 03/02 17:27
39F：推 Litfal: 不對，就算眼球追蹤，還是得整個面板都用高解析度， 03/02 17:32
40F：→ Litfal: 這種狀況下，就不會有紗窗效應(假設解析度已經夠高) 03/02 17:33
41F：→ Litfal: 這種情況下運算量太大，所以需要優化，去降非視野中心的細 03/02 17:35
42F：→ Litfal: 節是優化一法 03/02 17:35
43F：推 ptag720: 沒錯 整個面板高解晰度，針對視線中心全解析度運算 03/02 17:36
44F：→ ptag720: 餘光只要消除會讓貓貓先生崩潰的紗窗就好 03/02 17:37
45F：→ mrmowmow: 算了我就多花時間教你們吧，這文章網頁附圖的花瓶，有看 03/02 17:43
46F：→ mrmowmow: 到嗎？雖然這技術是調整解析度，但是為了讓你感受這張圖 03/02 17:43
47F：→ mrmowmow: 做了周圍散焦的效果，其實這種追蹤眼睛的技術之前也有聽 03/02 17:43
48F：→ mrmowmow: 過，那時說的效果就是這張圖，也就是在視覺外做散焦的效 03/02 17:43
49F：→ mrmowmow: 果，模擬你在日常生活眼睛看的樣子，好了你說餘光看不清 03/02 17:43
50F：→ mrmowmow: 處？？那為何還要故意做這種餘光散焦的效果，餘光應該分 03/02 17:43
51F：→ mrmowmow: 不清楚是準焦清晰還是散焦模糊阿？事實上餘光就是感覺的 03/02 17:43
52F：→ mrmowmow: 到，所以你說餘光感覺不感覺的到紗窗？ 03/02 17:43
53F：推 NoneWolf: Vive有多的USB孔 加一個硬體就能降低顯卡需求也是不錯 03/02 17:44
54F：→ Justisaac: 人眼餘光本來就是散焦.....焦點在視野中心而已 03/02 17:56
55F：噓 imega: 這邊也有崩潰的喔 03/02 17:59
56F：推 Kamikiri: 你都說是模擬日常生活眼睛看的樣子了....... 03/02 18:24
57F：→ Kamikiri: 那是不是代表人眼餘光本來就散焦看不清楚......... 03/02 18:24
58F：→ Kamikiri: 就是因為本來就看不清楚 所以VR打散焦視覺效果也不影響 03/02 18:25
59F：→ Kamikiri: 你這不是自打臉? 03/02 18:25
60F：推 phasmophobia: 他根本看不懂別人在講啥吧.. 03/02 19:37
61F：→ cau0424: 眼球追蹤只能偷效能，"降低"硬體需求而已 03/02 20:10
62F：→ cau0424: 有可能視線集中的區域面板都得要"真的"做上足夠規格 03/02 20:11
63F：→ cau0424: 你用現在2K的面板再怎麼眼球追蹤 焦點也不可能變成16K 03/02 20:12
64F：推 onion1990: 樓上 他就是想說用16K面板 搭配散焦技術 達到降低硬體 03/02 22:43
65F：→ onion1990: 負擔效果 不過16k面板散焦也不會有紗門效果啊… 03/02 22:43
66F：推 a7610783: 應該說是模糊...但我擔心的是追蹤跟不上眼球轉動速度( 03/02 23:02
67F：→ a7610783: 眼球轉動>攝影機感應>傳送給電腦位置>顯示在螢幕....) 03/02 23:02
68F：→ a7610783: 有一點遲疑人眼都能感覺到lag.... 03/02 23:02
69F：→ mrmowmow: 你們是不是搞錯什麼？周圍低解析--->減少主機負荷 03/02 23:06
70F：→ mrmowmow: 周圍散焦--->增加主機負荷，是故意做的模擬眼睛的效果 03/02 23:07
71F：→ mrmowmow: 其實這台主打的比較是散焦功能，還有眼球控制，至於周圍 03/02 23:09
72F：→ mrmowmow: 低解析，還在開發中吧，畢竟軟體商還要寫軟體去配合你這 03/02 23:09
73F：→ mrmowmow: 功能 03/02 23:09
74F：推 Kamikiri: 你才搞錯了什麼 原文GameWatch連結就有寫到 03/03 08:43
75F：→ Kamikiri: Foveated Rendering=視線中心高解析 其餘低解析 03/03 08:44
76F：→ Kamikiri: 這種運算方法可以把VR的硬體需求拉低到中低階PC 03/03 08:44
77F：→ Kamikiri: 因為只有視線中心是全力跑 餘光只跑低解析 03/03 08:45
78F：→ Kamikiri: 如果是高階GPU 還可以把多餘能力拿來提高解析跟FPS 03/03 08:46
79F：→ Kamikiri: 可以把GPU的運算效率提高到理論值的5~10倍 03/03 08:47
80F：→ Kamikiri: 如果散焦會增加主機負荷 這個產品的主旨根本不成立 03/03 08:49
81F：推 mamaya3: 像是Level of detail的延伸 餘光區的多邊形被簡略 03/03 09:20
82F：推 mamaya3: 像本文的方式把四點當一點算 也許效果比LOD還好@@ 03/03 09:24
83F：→ anipeg: 單純是"解析度"讓人誤解了吧~~ 紗窗是受限顯示硬體解析度 03/03 11:15
84F：→ anipeg: 而文中說的調整解析度是指軟體render的畫面解析度 03/03 11:16
85F：→ anipeg: 只要顯示器的解析度夠高，3D render只用VGA也不會有紗窗 03/03 11:17
86F：→ anipeg: 只是看起來很像馬賽克，追蹤眼球只是用來降低顯卡負擔而已 03/03 11:18
87F：→ anipeg: 不過眼球焦點追蹤在未來VR應有很大的應用，搭配VR CAM不錯 03/03 11:20
89F：→ mrmowmow: 在fove強打我的確搞錯了，fove主要的確是低解析，甚至連 03/03 12:35
90F：→ mrmowmow: 空間散焦功能都用低解析來簡化主機效能 影片第一段是模 03/03 12:35
91F：→ mrmowmow: 擬眼睛散焦 第二段才是你們說的圓周降低解析度 當然他兩 03/03 12:35
92F：→ mrmowmow: 者都用降低解析度 (應該有配合模糊化) 第一段跟第二段的 03/03 12:35
93F：→ mrmowmow: 差別我真的懶得解釋了 自己去google相機光圈跟景深原理 03/03 12:35
94F：→ mrmowmow: 我重點是說 人的餘光感覺得到散焦或清晰(影片效果一) 同 03/03 12:35
95F：→ mrmowmow: 樣也感覺得到 紗窗 03/03 12:35
96F：→ mrmowmow: 一般3d遊戲做的單眼淺景深散焦效果，就是增加負荷的效果 03/03 12:40
97F：→ mrmowmow: ，遊戲內可以選擇開關 03/03 12:40
98F：→ kuma660224: 紗窗在目前不是最大問題。問題是繪圖運算量 03/03 14:02
99F：→ kuma660224: 頭顯本身不太耗電，但那個頻寬太大所以要接線。 03/03 14:06
100F：→ kuma660224: 理想的VR是運算也在穿戴裝置上，真正無線。 03/03 14:06
101F：→ kuma660224: 但5年後頂級手機也追不上目前頂級PC效能 03/03 14:06
102F：→ kuma660224: 怎麼辦? 就是眼球追蹤來幫忙了。 03/03 14:06
103F：→ kuma660224: 假設即時知道只有某25%面積是看的位置。 03/03 14:08
104F：→ kuma660224: 只要對那一區塊做點對點的1:1高解析運算 03/03 14:09
105F：→ kuma660224: 再另外算一低解析的全景。兩個做融合。 03/03 14:10
106F：→ kuma660224: 就有機會在較弱的可攜硬體跑單眼1080x1200 03/03 14:11
107F：→ kuma660224: 比如說未來手機。 03/03 14:11
108F：→ kuma660224: 畫質是變差，但差的是餘光的部分，沒啥關係 03/03 14:12
109F：→ kuma660224: 但是繪圖運算處理的成本體積重量可以大幅下降 03/03 14:13
110F：→ kuma660224: 但偶爾眼睛快速轉向有可能會先看到粗糙版。 03/03 14:15
111F：→ kuma660224: 再0.0x秒後才變成精緻版。 03/03 14:15
112F：→ kuma660224: 不過很少有機會眼球轉向太快，仍然Z>B 03/03 14:16
113F：→ kuma660224: 局部高解析繪圖很有未來，但還不是現在可行 03/03 14:19
114F：推 mamaya3: 手機要做眼球追蹤有難度啊 要另外塞追蹤攝影機進手機嗎? 03/03 15:06
115F：→ mamaya3: 不過如果這種LOD效果不差 倒是可以幫無線技術省很多頻寬 03/03 15:07
116F：推 Porops: 手機當運算中心 然後由Vive之類穿戴式配備做眼球追蹤吧 03/03 15:30
117F：→ kuma660224: 如樓上所說。 03/03 20:58
118F：→ kuma660224: 追蹤是VR裝置內有東西持續判斷你眼球轉動方向 03/03 21:01
119F：→ kuma660224: 手機或電腦只是依據視野不同需求做繪圖 03/03 21:02
120F：→ kuma660224: 它就救不了紗窗，但是可讓運算量快速降低。 03/03 21:03
121F：→ kuma660224: 甚至主機輕量穿戴，不必有那條煩人的線。 03/03 21:04
122F：→ Litfal: 眼球追蹤只是一種可能的方向，但不是唯一... 03/04 02:05
123F：→ Litfal: 硬體會進步，軟體也會，VR還有太多方向可以優化了 03/04 02:06