作者qrtt1 (有些事，有时候。。。)
看板Programming
标题Re: [问题] 解码影片并播放
时间Fri May 25 18:32:43 2012
※ 引述《Arton0306 (Ar藤)》之铭言：
: 小弟最近用libav(ffmpeg)写一个简单的播放器(用qt作gui)
: 目前已经可以解出 video audio packet
: 现在要同步播放出来
: 但在这中间有个问题 - 要怎麽处理读(play thread)写(decode thread)packet的问题
: 假设我什麽都不管 就一直解码存到两thread的共用buffer
: (buffer指两个fifo)
: 1秒20张ppm一定会把buffer炸掉
: 所以我目前想法是这样：
: play thread 在buffer中会不断把audio packet读进来 这qt有个物件可以吃pcm stream
: 并根据video frame的时间适当画出来
: 比较麻烦的是decode
: decode要知道play thread播放到哪
: 根据这时间来决定要不要decode
: 我想根据audio/video fifo中最大时间 - 播放时间
: 如果小於5个1/fps
: 就解5个packet
: 否则sleep 5msec
: 以上是我的想法 尚未实作
: 不知一般播放器是不是有个既有的经典pattern？
: 如果没有的话 我就先造我的方式coding
: 感谢
一般的 audio 播放的 library 都有提供取得播放时间的方法
不管你是 Android 的 AudioTrack
或是 iOS/OSX 的 AudioQueueService
都能取得 audio time (callback or function)
一般的 AV sync 做法有 3 种选择
1. 用一个 clock 让 A/V 去对时
2. 以 video 时间为主的 sync
3. 以 audio 时间为主的 sync
在『感觉』上，如果声音少了一段很容易被听到。
而不同的 audio 播放机制需要的 buffer 时间不太一样，
也就是当你叫他开始播的时候，并不是那个瞬间就能听到声音。
所以，通常用一个 clock 来 sync audio 方法其实很难对得准的。
如果是以 video time 来 sync ，
要怎麽处理来不及播完的 audio !?
或是你的 device 的 cpu 太弱了，video 画得比你想得慢，
所以，就在等 video 画出来才能开始播声音
使用者就会听到断断续续的，然後很想砸东西 .... (默)
以我们自己的经验，除非没有 audio stream。
那就使用 audio time 来做 sync 是最方便的。
来不及画的 video frame 就 drop，
还没到时间的就等待一下，不是很方便吗？
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 114.43.126.156
1F：推 Arton0306:感谢！本来还想用1的方式来写 但没想到 114.42.59.56 05/25 20:17
2F：→ Arton0306:叫它播放和真正播放的时间差 114.42.59.56 05/25 20:17
3F：→ qrtt1:另外，没有 audio stream 时。也可以塞 114.43.126.156 05/26 11:47
4F：→ qrtt1:0 去假装有 audio stream，只是没声音而已xd 114.43.126.156 05/26 11:47
5F：推 kevin190:Audio的decode比Video快,通常都是Audio在 1.169.152.192 05/30 02:31
6F：→ kevin190:等Video,所以用Audio Time去Sync,来不及 1.169.152.192 05/30 02:31
7F：→ kevin190:播放的Frame就drop掉,或者是把FPS调慢, 1.169.152.192 05/30 02:32
8F：推 Arton0306:我目前会有一个buffer存decode完的av203.192.162.252 05/30 16:14
9F：→ Arton0306:以我试的影片decode的速度比播放快203.192.162.252 05/30 16:15
10F：→ Arton0306:所以我播放是从buffer拿decode好的203.192.162.252 05/30 16:16
11F：→ Arton0306:看起来是不用drop 但还没coding完 正在203.192.162.252 05/30 16:16
12F：→ Arton0306:试 倒是没考虑到video decode太慢的情况203.192.162.252 05/30 16:16
13F：→ qrtt1:把程式放在手机上就会有感觉 video 费力了xd 114.43.119.235 06/02 00:27
14F：推 Arton0306:完成了 不过cpu飙很高 我看wmplayer都才 114.24.52.177 06/03 03:59
15F：→ Arton0306:1~2% 这是用到gpu还是怎样？ 114.24.52.177 06/03 03:59
16F：推 Arton0306:KMPlayer是15%以下 但比wmplayer高 114.24.52.177 06/03 04:02
17F：→ Arton0306:满好奇wmplayer怎麽cpu这麽低?! 114.24.52.177 06/03 04:03
18F：推 Arton0306:不用gpu有可能办到吗？ 114.24.52.177 06/03 04:05