作者talan (这个好吃吗)
看板XBOX
标题[情报] XCloud导入Direct Capture技术降低延迟
时间Sun Jun 26 23:42:42 2022
微软在今年E3期间除了有两场游戏发布会之外，
其实还有一系列针对游戏开发的Xfest影片，分享一些游戏技术与开发技巧，
有兴趣的可以在以下网址下收看
Xfest 2022
https://www.youtube.com/watch?v=4aBEi4SbPlQ&list=
PLRs2lXTYCDQ3uPs2PBJoc69ET6LrM_EK5
https://tinyurl.com/2bw2kp4w
其中，微软发表一项今年开始导入Xbox Cloud Gaming云端游戏串流技术-Direct Capture
https://www.youtube.com/watch?v=-WIXftoHCl4
影片有中文字幕，虽然是机翻，但大致可以看懂。
Xbox云端游戏串流，从游戏中的一帧游戏画面从渲染完成到被编码成串流画面，
以往是要完整走完硬体HDMI显示的流程
https://i.imgur.com/m3yP5MT.jpg
present queue (0-66ms) -> 显示 -> 显示回写 (8.3ms)
根据游戏不同，游戏画面在显示前会有一个伫列，有些游戏有双重甚至三重缓冲，
会占用0到66ms不等的时间。而在萤幕显示之後，还有一个固定8.3ms的显示回写，
才能进入串流编码，因此走完整个HDMI显示流程会有8.3至74.3ms不等的延迟，
但2022年，微软推出新技术Direct Capture，游戏画面被编码成串流画面前，
可以直接绕过整个HDMI流程
https://i.imgur.com/jiM2cKn.jpg
https://i.imgur.com/OyOfrvR.jpg
Direct Capture处理时间为2-12ms，可以节省至多72.3ms的延迟，
绕过硬体显示流程，能避免垂直同步、双重/三重缓冲所造成的等待时间，
免了那台根本不存在云端资料中心的显示器所需的缩放处理时间。
而Direct Capture可以自动应用在许多云端游戏上，
但目前技术还有一些限制，某些游戏需要开发者作点变更才能使用
https://i.imgur.com/ewirHY0.png
如目前只支援到1440P的最高解析度，不支援动态解析度、HDR等，
但这些限制会随技术进步逐渐改进。
另外微软也堆如何降低游戏延迟，对开发者作出一些建议
目前Xbox云端游戏，PC支援的最高解析度为1080P，移动设备则是720P，
所以游戏原生解析度超过上述解析度，在串流中都需要缩放处理，增加处理时间，
若想强化云端游戏体验，微软建议可以降低解析度，除了免去缩放处理时间，
也能在运算资源投在强化游戏画面
---
有听说某些使用VPN游玩云端游戏的人说延迟很低，当时觉得很不可思议，
说不定是游玩有应用Direct Capture的游戏。
微软一直有在改善云端游戏的游玩体验，
像是去年有在EDGE浏览器上推出clarity boost功能，
能应用本地主机的运算能力，强化串流画面的清晰度。
可惜目前还是没法体验，希望云端游戏早日在台湾服务...
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.132.218.164 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/XBOX/M.1656258166.A.56A.html
1F：推 TETUO: 直接绕过去也太威了，不愧是微软作为软体开发本业的实力! 06/26 23:59
2F：→ Avier: 惨了太猛了 06/27 00:03
3F：→ Avier: 希望未来 PC 也不用透过显示卡，直接云端 8K 开下去解析度 06/27 00:04
4F：→ Avier: 串流游戏玩 06/27 00:04
※ 编辑: talan (220.132.218.164 台湾), 06/27/2022 00:15:16
5F：推 JIKUAI: 台湾资料中心何时盖好啊QQ 06/27 00:09
6F：推 faang: 里面也提到不少让玩家在各平台都能用最佳方式进行游戏的设 06/27 00:10
7F：→ faang: 计（例如可以依平台设不同的亮度设定），看来微软还满用心 06/27 00:10
8F：→ faang: 让玩家在不同硬体平台都能有良好的游戏体验 06/27 00:10
9F：推 Avier: 前阵子有应徵资料中心职缺，有录取，不过目前都在他处受训 06/27 00:14
10F：→ Avier: 任职 @@ 06/27 00:14
11F：→ Avier: 有任何资讯再来回报 06/27 00:15
12F：→ oldk13: 买zenimax效果出来了吧 06/27 00:17
13F：推 AccLaborGo: 预祝楼上A大及部门顺利，好期待呀 06/27 01:06
14F：→ iceranger: 嗯，跟我想的一样（喂 06/27 02:09
15F：推 rakuinn: 微软云端就是业界NO.1啦 06/27 03:40
16F：→ skybrest: 推 06/27 06:28
17F：推 horseorange: 推 06/27 07:07
18F：推 aa08175: 恭喜A大 06/27 07:40
19F：→ supereva: 还以为是在你动手指之前 direct capture你的脑波 做到 06/27 08:15
20F：→ supereva: 预先输入无延迟 06/27 08:15
21F：推 sumarai: 那麽台湾要去哪里才能用得到呢？ 06/27 08:39
22F：推 js0431: 这真的我的超人 06/27 08:54
23F：→ midas82539: 这个就输入源fps的问题啊，基本上由於不同讯号会有 06/27 09:25
24F：→ midas82539: 不同Hz的问题，例如要把24p的讯号播放在60p更新率的 06/27 09:26
25F：→ midas82539: 萤幕上，你的萤幕就必须要自己补上差额帧数，而计算 06/27 09:27
26F：→ midas82539: 跟贴补就会造成延迟跟画面抖动，所以反过来说 06/27 09:28
27F：→ midas82539: 理论上可以得知你家萤幕的更新率，再喂给它要的Hz 06/27 09:29
28F：→ midas82539: 自然就可以绕过这些问题，原理大概就这样吧 06/27 09:29
29F：→ midas82539: 这方法其实就是一种变相的锁帧，所以代价是解析度 06/27 09:34
30F：→ midas82539: 会有天花板，而且其他因素的掉帧还是会发生 06/27 09:35
31F：推 ts00422832: 感谢分享 06/27 10:31
32F：推 eddy664: 用 VPN 连 XCloud 不会是全程 VPN，只有一开始需要，连 06/27 11:27
33F：→ eddy664: 上後就断开，相当於直连，所以只是 server 比较远而已。 06/27 11:27
34F：推 Neville0402: VPN连日本毫无延迟，真的是黑科技 06/27 13:37
35F：→ TETUO: 下一步就是Ai学习预判玩家的操作(误) 06/27 13:42
36F：推 gambitlin: 今天开日本VPN玩贼海，几乎没延迟真的很神奇阿，60fps 06/27 17:12
37F：推 TaipeiKindom: AI预判操作来达成0延迟是一个很有趣的议题，一旦发 06/27 19:44
38F：→ TaipeiKindom: 展出来，会造成一些奇妙的现象。举例来说，当AI的预 06/27 19:44
39F：→ TaipeiKindom: 判速度追上玩家，确实能达到理论上的最低延迟，但继 06/27 19:44
40F：→ TaipeiKindom: 续发展下去，让AI的预判速度超过玩家呢？游戏会变 06/27 19:44
41F：→ TaipeiKindom: 成怎样？答案是玩家会渐渐不确定是不是自己在操作， 06/27 19:44
42F：→ TaipeiKindom: 有时候明明反应不及，游戏画面却朝着玩家原本的意 06/27 19:44
43F：→ TaipeiKindom: 思改变了，甚至玩家都放开手把了，AI却继续演算预判 06/27 19:44
44F：→ TaipeiKindom: 一直玩下去。这种情况下，到底是玩家在玩游戏，还是 06/27 19:44
45F：→ TaipeiKindom: 云端上一个行为模式跟玩家一模一样的的AI在玩游戏呢 06/27 19:44
46F：→ TaipeiKindom: ，这个AI会不会进化到比玩家还强呢，以上是乱讲 06/27 19:44
47F：推 iceranger: Nier自动人形的简单战斗模式就有点像金盾讲的意思 06/27 19:50
48F：推 ching1210: 我只想知道台湾到底什麽时候才会开放... 不想特地用VPN 06/27 19:57
49F：推 unorthodoxy: AI不会这麽假 它侦测你几次反应跟不上 就不会再帮你 06/28 08:57
50F：→ unorthodoxy: 操作了 06/28 08:57
51F：→ unorthodoxy: 全部都是统计处理 马上就知道你实力在哪 06/28 08:58
52F：推 gambitlin: 等微软AZURE伺服器建好~ 06/28 13:41
53F：→ gambitlin: 我日VPN到日本开门但是连美国玩，不知道是存取哪个伺服 06/28 13:42
54F：→ supereva: vpn到哪就是连哪边server 选美国只是选美国只是选语言 06/28 14:35