作者Artx1 (Eji.Warp)
看板Vocaloid
标题[分享] VocaListener paper 读後心得
时间Mon Jun 2 12:50:32 2008
(原文同时发在komica VOCALOID版。
http://bbs.orzhk.net/05/pixmicat.php?res=15116
一文两po不可的话请通知,会删除)
ぼかりす真的是太凶恶XD
舍弃比对的公式不看,ぼかりす需要输入的东西有两个:
1. user唱出来的录音轨
2. 原始歌词
只要有原始歌词,他就会以子母音比对的方式抓出音节长短,
然後和原始音高比对出音符高低,接着就是细部波形调教。
有趣的事情是,它的重点在於多次调教的部分:
ぼかりす的核心会以VSTi介面的方式和Vocaloid连接,
把上面抓的参数输出wav、同时和原始波形比较,有multi-pass的功能。
调教出来的值会再输回去比对、论文中会重复做到四次(似乎是最佳状态)。
在这个比对过程中,会把樋口老师在开发MikuMikuVoice的过程中遇到的不明衰减
给补正掉。也就是说樋口老师本人一开始考虑的
"先输无参数给 miku、对产生的DYN扫描之後抓出差值再反馈"
的做法,其实与ぼかりす实际的做法非常类似。
(只是ぼかりす因为有实作VSTi,这部分是完全自动;
MMV如果不做VSTi的话,就得让user自行操作了)
也就是说,几趟下来,ミク唱出来的会几乎与本来原唱输进去的原始音轨一样;
如果换一个Vocaloid(如リン),也会因为上述的重复调教,
而得到另外一个符合リン需求的新参数,
user实际上不再需要碰触到DYN和PIT、PBS等底层的参数调整。
由於multi-pass的关系,也有另外一个实作顺便做出来,就是音节合成的错误侦测。
如果抓出来的长短错误,user只要"指出错误",不需要修正,
ぼかりす就会自动地把该段作参数比对和重新合成,
反覆两三次下来就可以把错误搞定....
也就是说,user完全只要做"这边听起来不太对"这个动作即可,
不再需要会底层的"职人技",软体引擎可以完全把这部分搞定....
更大的意义是,这时候你面对Vocaloid,其实和面对一般歌手变得非常类似。
最後最重要的,是歌唱能力补正功能。
ぼかりす并不会需要神歌手才能唱给ミク当范本,
本身有半音为单位的走音补正功能。(这部分与一般的DAW软体内建的补正功能类似)
如果音唱不上去,直接降一个八度之类的唱法,ぼかりす也可以接受,
并且改回指定的音域给ミク听。
甚至最後,还有透过歌唱声音的音高变动,来抓出实际上user在歌唱能力的高低,
并且加以补正,把音高轨迹给正确地平滑化,产生适切的参数给ミク。
也就是说,如果user本来就是强者歌手,那麽唱出来的东西ぼかりす就会产生
适切的参数给ミク看,然後透过连续几次听ミク唱得和你一不一样....
来把她调整到要求的状况。
如果你唱得并不好,ぼかりす也会透过先修正你资料的方式,校正出"应该的样子"、
再送给ミク学习。
然後,歌唱力补正功能内,有一个特殊的功能,就是改变歌唱的类型,
比方说抖音长短、明亮度等等,这部分称为VocaListener-plus,
从论文来看,算是产生参数的另一个外部控制介面。
将这部份产生的参数加以资料库化,就可以用来分类与整理"歌手的歌唱style",
进而得到"让ミク学xxx唱歌"的效果。
------
也就是说,其实ぼかりす会是给ミク的一个新的耳机。
它可以把ミク听得懂的指令,从Vocaloid Editor的低阶调教参数,
变成较为抽象化的资讯。
比方说
"我唱给你听,你听听看之後跟着唱"、
"你这边应该的音应该是「哒哒、哒」,而不是「哒、哒哒」"、
"你这边应该唱得更激荡些,後面这边应该唱得更柔和些"之类,
很类似面对实际人类教唱时候的调教法。
并且,程式所侦测的参数,同时也可以用来教育使用者,
唱歌的时候可以朝哪个方向努力。
不仅可以做歌声研究的基本工具,帮助对歌声的各种感情与性质作参数分类,
以及适当歌唱技巧的学习;也可以做为歌声合成的支援工具,
让上述学习到的技巧实际地做为调教Vocaloid参数的工具,
让Vocaloid唱出更像实际人类的歌声。
(其实很多人应该都猜到了,VocaListener本来应该是个
卡拉OK伴唱机评分介面的超级进化版)
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 123.204.3.179
1F:推 Kawasumi:听起来很威耶 比现在的MMV还多了很多功能..XD 06/02 13:42
2F:推 Kawasumi:不知道这篇算conference还journal =.=; 06/02 13:51
3F:→ Artx1:ぼかりす是要商品化的东西啊XD 都申请专利了XD 06/02 14:17
※ 编辑: Artx1 来自: 123.204.3.179 (06/02 14:55)
4F:推 miau9202:到时候,冲击最大的,应该就是那些神人调教师吧! 06/04 00:56
5F:推 xrhapsody:淦....实在太令人期待了 06/05 04:18