作者talan (這個好吃嗎)
看板XBOX
標題[情報] XCloud導入Direct Capture技術降低延遲
時間Sun Jun 26 23:42:42 2022
微軟在今年E3期間除了有兩場遊戲發布會之外，
其實還有一系列針對遊戲開發的Xfest影片，分享一些遊戲技術與開發技巧，
有興趣的可以在以下網址下收看
Xfest 2022
https://www.youtube.com/watch?v=4aBEi4SbPlQ&list=
PLRs2lXTYCDQ3uPs2PBJoc69ET6LrM_EK5
https://tinyurl.com/2bw2kp4w
其中，微軟發表一項今年開始導入Xbox Cloud Gaming雲端遊戲串流技術-Direct Capture
https://www.youtube.com/watch?v=-WIXftoHCl4
影片有中文字幕，雖然是機翻，但大致可以看懂。
Xbox雲端遊戲串流，從遊戲中的一幀遊戲畫面從渲染完成到被編碼成串流畫面，
以往是要完整走完硬體HDMI顯示的流程
https://i.imgur.com/m3yP5MT.jpg
present queue (0-66ms) -> 顯示 -> 顯示回寫 (8.3ms)
根據遊戲不同，遊戲畫面在顯示前會有一個佇列，有些遊戲有雙重甚至三重緩衝，
會占用0到66ms不等的時間。而在螢幕顯示之後，還有一個固定8.3ms的顯示回寫，
才能進入串流編碼，因此走完整個HDMI顯示流程會有8.3至74.3ms不等的延遲，
但2022年，微軟推出新技術Direct Capture，遊戲畫面被編碼成串流畫面前，
可以直接繞過整個HDMI流程
https://i.imgur.com/jiM2cKn.jpg
https://i.imgur.com/OyOfrvR.jpg
Direct Capture處理時間為2-12ms，可以節省至多72.3ms的延遲，
繞過硬體顯示流程，能避免垂直同步、雙重/三重緩衝所造成的等待時間，
免了那台根本不存在雲端資料中心的顯示器所需的縮放處理時間。
而Direct Capture可以自動應用在許多雲端遊戲上，
但目前技術還有一些限制，某些遊戲需要開發者作點變更才能使用
https://i.imgur.com/ewirHY0.png
如目前只支援到1440P的最高解析度，不支援動態解析度、HDR等，
但這些限制會隨技術進步逐漸改進。
另外微軟也堆如何降低遊戲延遲，對開發者作出一些建議
目前Xbox雲端遊戲，PC支援的最高解析度為1080P，移動設備則是720P，
所以遊戲原生解析度超過上述解析度，在串流中都需要縮放處理，增加處理時間，
若想強化雲端遊戲體驗，微軟建議可以降低解析度，除了免去縮放處理時間，
也能在運算資源投在強化遊戲畫面
---
有聽說某些使用VPN遊玩雲端遊戲的人說延遲很低，當時覺得很不可思議，
說不定是遊玩有應用Direct Capture的遊戲。
微軟一直有在改善雲端遊戲的遊玩體驗，
像是去年有在EDGE瀏覽器上推出clarity boost功能，
能應用本地主機的運算能力，強化串流畫面的清晰度。
可惜目前還是沒法體驗，希望雲端遊戲早日在台灣服務...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.132.218.164 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/XBOX/M.1656258166.A.56A.html
1F：推 TETUO: 直接繞過去也太威了，不愧是微軟作為軟體開發本業的實力! 06/26 23:59
2F：→ Avier: 慘了太猛了 06/27 00:03
3F：→ Avier: 希望未來 PC 也不用透過顯示卡，直接雲端 8K 開下去解析度 06/27 00:04
4F：→ Avier: 串流遊戲玩 06/27 00:04
※ 編輯: talan (220.132.218.164 臺灣), 06/27/2022 00:15:16
5F：推 JIKUAI: 台灣資料中心何時蓋好啊QQ 06/27 00:09
6F：推 faang: 裡面也提到不少讓玩家在各平台都能用最佳方式進行遊戲的設 06/27 00:10
7F：→ faang: 計（例如可以依平台設不同的亮度設定），看來微軟還滿用心 06/27 00:10
8F：→ faang: 讓玩家在不同硬體平台都能有良好的遊戲體驗 06/27 00:10
9F：推 Avier: 前陣子有應徵資料中心職缺，有錄取，不過目前都在他處受訓 06/27 00:14
10F：→ Avier: 任職 @@ 06/27 00:14
11F：→ Avier: 有任何資訊再來回報 06/27 00:15
12F：→ oldk13: 買zenimax效果出來了吧 06/27 00:17
13F：推 AccLaborGo: 預祝樓上A大及部門順利，好期待呀 06/27 01:06
14F：→ iceranger: 嗯，跟我想的一樣（喂 06/27 02:09
15F：推 rakuinn: 微軟雲端就是業界NO.1啦 06/27 03:40
16F：→ skybrest: 推 06/27 06:28
17F：推 horseorange: 推 06/27 07:07
18F：推 aa08175: 恭喜A大 06/27 07:40
19F：→ supereva: 還以為是在你動手指之前 direct capture你的腦波 做到 06/27 08:15
20F：→ supereva: 預先輸入無延遲 06/27 08:15
21F：推 sumarai: 那麼台灣要去哪裡才能用得到呢？ 06/27 08:39
22F：推 js0431: 這真的我的超人 06/27 08:54
23F：→ midas82539: 這個就輸入源fps的問題啊，基本上由於不同訊號會有 06/27 09:25
24F：→ midas82539: 不同Hz的問題，例如要把24p的訊號播放在60p更新率的 06/27 09:26
25F：→ midas82539: 螢幕上，你的螢幕就必須要自己補上差額幀數，而計算 06/27 09:27
26F：→ midas82539: 跟貼補就會造成延遲跟畫面抖動，所以反過來說 06/27 09:28
27F：→ midas82539: 理論上可以得知你家螢幕的更新率，再餵給它要的Hz 06/27 09:29
28F：→ midas82539: 自然就可以繞過這些問題，原理大概就這樣吧 06/27 09:29
29F：→ midas82539: 這方法其實就是一種變相的鎖幀，所以代價是解析度 06/27 09:34
30F：→ midas82539: 會有天花板，而且其他因素的掉幀還是會發生 06/27 09:35
31F：推 ts00422832: 感謝分享 06/27 10:31
32F：推 eddy664: 用 VPN 連 XCloud 不會是全程 VPN，只有一開始需要，連 06/27 11:27
33F：→ eddy664: 上後就斷開，相當於直連，所以只是 server 比較遠而已。 06/27 11:27
34F：推 Neville0402: VPN連日本毫無延遲，真的是黑科技 06/27 13:37
35F：→ TETUO: 下一步就是Ai學習預判玩家的操作(誤) 06/27 13:42
36F：推 gambitlin: 今天開日本VPN玩賊海，幾乎沒延遲真的很神奇阿，60fps 06/27 17:12
37F：推 TaipeiKindom: AI預判操作來達成0延遲是一個很有趣的議題，一旦發 06/27 19:44
38F：→ TaipeiKindom: 展出來，會造成一些奇妙的現象。舉例來說，當AI的預 06/27 19:44
39F：→ TaipeiKindom: 判速度追上玩家，確實能達到理論上的最低延遲，但繼 06/27 19:44
40F：→ TaipeiKindom: 續發展下去，讓AI的預判速度超過玩家呢？遊戲會變 06/27 19:44
41F：→ TaipeiKindom: 成怎樣？答案是玩家會漸漸不確定是不是自己在操作， 06/27 19:44
42F：→ TaipeiKindom: 有時候明明反應不及，遊戲畫面卻朝著玩家原本的意 06/27 19:44
43F：→ TaipeiKindom: 思改變了，甚至玩家都放開手把了，AI卻繼續演算預判 06/27 19:44
44F：→ TaipeiKindom: 一直玩下去。這種情況下，到底是玩家在玩遊戲，還是 06/27 19:44
45F：→ TaipeiKindom: 雲端上一個行為模式跟玩家一模一樣的的AI在玩遊戲呢 06/27 19:44
46F：→ TaipeiKindom: ，這個AI會不會進化到比玩家還強呢，以上是亂講 06/27 19:44
47F：推 iceranger: Nier自動人形的簡單戰鬥模式就有點像金盾講的意思 06/27 19:50
48F：推 ching1210: 我只想知道台灣到底什麼時候才會開放... 不想特地用VPN 06/27 19:57
49F：推 unorthodoxy: AI不會這麼假 它偵測你幾次反應跟不上 就不會再幫你 06/28 08:57
50F：→ unorthodoxy: 操作了 06/28 08:57
51F：→ unorthodoxy: 全部都是統計處理 馬上就知道你實力在哪 06/28 08:58
52F：推 gambitlin: 等微軟AZURE伺服器建好~ 06/28 13:41
53F：→ gambitlin: 我日VPN到日本開門但是連美國玩，不知道是存取哪個伺服 06/28 13:42
54F：→ supereva: vpn到哪就是連哪邊server 選美國只是選美國只是選語言 06/28 14:35